Парсер гугла - Форум успешных вебмастеров - GoFuckBiz.com

tobari · 11.05.2011, 03:01

нужен хороший парсер гугла.

характеристики:

1. стабильность
2. многопоточность
3. юзанье соксов/проксей из заданого источника
4. без привязки к серверу/домену/etc ...
5. парсить нужно все резалты, а не первые страницы, что дает гугл
6. должно работать под никсами
7. автоматизированность

т.е. если где-то пошли ошибки, то аккуратненько записать все в логи и парсить дальше
8. еще не придумал

есть что то подобное? в гугле встречал много всякого... интересует реальный опыт юзанья подобного софта

kanscx · 19.09.2011, 16:23

Drunk Monk, парсер за кило? Сильно

Пора наверное кодингом заняться, выгодная тема становится я так посмотрю

WebNinja · 19.09.2011, 17:53

Цитата:

Сообщение от tobari

нужен хороший парсер гугла.

характеристики:

1. стабильность
2. многопоточность
3. юзанье соксов/проксей из заданого источника
4. без привязки к серверу/домену/etc ...
5. парсить нужно все резалты, а не первые страницы, что дает гугл
6. должно работать под никсами
7. автоматизированность

т.е. если где-то пошли ошибки, то аккуратненько записать все в логи и парсить дальше
8. еще не придумал

есть что то подобное? в гугле встречал много всякого... интересует реальный опыт юзанья подобного софта

на следующей неделе планирую писать такой для себя (нужен пиздец) - python/pycurl/nix. если есть вопросы пиши в скайп.

imgreen · 19.09.2011, 17:56

хм, а как вы все резалты парсить собираетесь?

WebNinja · 19.09.2011, 18:02

наверное опционально, мне все не нужны. по опыту скажу что парсинг вглубь ведёт к быстрому бану ипа. хотя может у кого-то и получается нормально.

~~getalifejerk~~ · 19.09.2011, 18:17

Друзья, вот скрин того что я разрабатывал.

Работает только под windows, но работает отлично, на вход кидал и по 100К запросов, на выходе базы, +сделал очень много функций по работе с базами. Если интересно - пишите!