Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB59.1260
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 28.12.2010, 15:33   #1
anonim
Member
 
Регистрация: 08.08.2010
Сообщений: 54
Бабло: $23060
По умолчанию Можно ли спарсить страницы аптек?

Нет ли какого-нибудь ограничение на количество запросов.
Надо спарсить скриптом прайсы паблик аптек.
anonim вне форума  
Старый 28.12.2010, 15:42   #2
ArmanenD
ArmanenD
 
Регистрация: 01.01.2009
Сообщений: 813
Бабло: $100500
По умолчанию

Цитата:
Сообщение от anonim Посмотреть сообщение
Нет ли какого-нибудь ограничение на количество запросов.
Надо спарсить скриптом прайсы паблик аптек.
зачем их парсить, лучше из админки партнерки взять
ArmanenD вне форума  
Старый 28.12.2010, 15:52   #3
anonim
Member
 
Регистрация: 08.08.2010
Сообщений: 54
Бабло: $23060
ТС -->
автор темы ТС По умолчанию

Не у всех есть прайсы в админках. если ты про это..
мне ещё урлы нужны на страницу товара.. раньше xml брал. но не у всех есть повторюсь.. решил напрямую шопы парсить..
anonim вне форума  
Старый 28.12.2010, 16:23   #5
anonim
Member
 
Регистрация: 08.08.2010
Сообщений: 54
Бабло: $23060
ТС -->
автор темы ТС По умолчанию

По делу кто-нибудь подскажет? бывают ли ограничения?.. надо знать чтобы прогеру скрипт заказывать.
anonim вне форума  
Старый 28.12.2010, 16:42   #6
1een
Senior Member
 
Аватар для 1een
 
Регистрация: 28.05.2009
Сообщений: 1,306
Бабло: $161695
По умолчанию

тебе не нужен скрипт, тебе нужна программа content downloader - МЕГАВЕЩЬ просто. Стоит копейки. Такой охуенности софта я давно не встречал.

ps. Не на правах рекламы, а на основе личного опыта
1een вне форума  
Старый 28.12.2010, 16:53   #7
baltazor
Perpetuum Mobile
 
Аватар для baltazor
 
Регистрация: 13.11.2008
Сообщений: 401
Бабло: $42190
По умолчанию

Аптеки при парсинге вроде капчу не предлагают вводить

З.Ы.
Насчет content downloader - сам недавно заюзал для парсинга статей, прога что надо, даже без мануала разобрался.
baltazor вне форума  
Старый 29.12.2010, 08:10   #8
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

с самим парсингом проблем быть не должно, врят ли там есть защита на JS или что-то подобное, что не обходится курлом. Надо прикинуться ботом или человеком, а если айпи забанят - с другого парсить или прокси использовать.

я, кстати, разработал целую систему парсинга цен конкурентов, которая помогает нам иметь всегда выгодные для покупателей цены, а конкуренты наверно сидят и охуевают

Там, в принципе, не сложно: cron + curl + regexp + система оповещения об отказах. И архитектура системы должна быть масштабируема по кол-ву конкурентских шопов.
Самое трудоемкое - это написать все эти regexp-правила, причем, зачастую приходилось их переписывать по несколько раз, т.к. не всегда написанный с первого раза паттерн учитывает все и работает всегда - для это и нужна система оповещения.
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 29.12.2010, 11:21   #9
KYO
blackseo
 
Аватар для KYO
 
Регистрация: 04.04.2007
Адрес: StandAlone
Сообщений: 1,060
Бабло: $196065
Отправить сообщение для KYO с помощью ICQ
По умолчанию

есть парсер, парсит с разных IP, поэтому нет бана - 50$
__________________
Возьми домой раненую осу и ты узнаешь, чем платит доброта
KYO вне форума  
Старый 29.12.2010, 16:38   #10
anonim
Member
 
Регистрация: 08.08.2010
Сообщений: 54
Бабло: $23060
ТС -->
автор темы ТС По умолчанию

content downloader - связался с сапортом.. кинул два примера аптек, на первом же загнулся, сказал нельзя такой.
anonim вне форума  
Закрытая тема



Опции темы
Опции просмотра