Можно ли спарсить страницы аптек?

[anonim]

Нет ли какого-нибудь ограничение на количество запросов.
Надо спарсить скриптом прайсы паблик аптек.

[ArmanenD]

Сообщение от anonim

Нет ли какого-нибудь ограничение на количество запросов.
Надо спарсить скриптом прайсы паблик аптек.

зачем их парсить, лучше из админки партнерки взять

[anonim]

Не у всех есть прайсы в админках. если ты про это..
мне ещё урлы нужны на страницу товара.. раньше xml брал. но не у всех есть повторюсь.. решил напрямую шопы парсить..

[jarosek]

ну попробуй, что мешает?

[anonim]

По делу кто-нибудь подскажет? бывают ли ограничения?.. надо знать чтобы прогеру скрипт заказывать.

[1een]

тебе не нужен скрипт, тебе нужна программа content downloader - МЕГАВЕЩЬ просто. Стоит копейки. Такой охуенности софта я давно не встречал.

ps. Не на правах рекламы, а на основе личного опыта

[baltazor]

Аптеки при парсинге вроде капчу не предлагают вводить

З.Ы.
Насчет content downloader - сам недавно заюзал для парсинга статей, прога что надо, даже без мануала разобрался.

[chesser]

с самим парсингом проблем быть не должно, врят ли там есть защита на JS или что-то подобное, что не обходится курлом. Надо прикинуться ботом или человеком, а если айпи забанят - с другого парсить или прокси использовать.

я, кстати, разработал целую систему парсинга цен конкурентов, которая помогает нам иметь всегда выгодные для покупателей цены, а конкуренты наверно сидят и охуевают

Там, в принципе, не сложно: cron + curl + regexp + система оповещения об отказах. И архитектура системы должна быть масштабируема по кол-ву конкурентских шопов.
Самое трудоемкое - это написать все эти regexp-правила, причем, зачастую приходилось их переписывать по несколько раз, т.к. не всегда написанный с первого раза паттерн учитывает все и работает всегда - для это и нужна система оповещения.

[KYO]

есть парсер, парсит с разных IP, поэтому нет бана - 50$

[anonim]

content downloader - связался с сапортом.. кинул два примера аптек, на первом же загнулся, сказал нельзя такой.