Требуется скрипт парсера гугл подсказок и релейтед запросов.

[Strannic]

Требуется скрипт, который будет осуществлять парсинг гугл подсказок (suggest) и похожих (related) запросов (те запросы которые отображаются внизу страницы выдачи)
Парсер должен иметь:
- многопоточность
- возможность использования прокси листа для предотвращения бана
- таймаут
- выбор нескольких языков
- выбор глубины парсинга

ТЗ следующее:

Перед запуском выбираем - глубину парсинга, языки парсинга, таймаут, прокси.

Запуск.

Из файла основных кеев берется кейворд.
Парсим абсолютно все подсказки (suggest) этого кея (для каждого языка которые выставлены) + все образующиеся от него, в зависимости от выставленного параметра Глубина парсинга. "Следующую глубину" получаем путем подставления ВСЕХ символов, а не только букв и цифр, и прогоняя по ТРЕМ знакам, а не только по двум.

Далее полученные списки кейвордов разделенные на языки, парсим на наличие похожих ( related) запросов, снова также разделяя по языкам.

Далее полученные кеи (related) парсим на наличие подсказок (suggest)
также как и в первый круг, но со своим параметром "глубина парсинга".
Который также должен задаваться при старте скрипта.

После чего все сохраняем в файлы вида
keyword_de.txt
keyword_en.txt
keyword_it.txt

и так далее в зависимости от количества выставленных языков.

После чего скрипт берет следующий кейворд из основного файла кеев и все по новой.

Также должны быть какие-то уведомления при бане гугла.
Чтобы знать что где-то, что-то не до конца напарсено.


Готов выслушать все предложения.
Язык программирования жестко не ограничиваю, главное скорость работы.

[dady]

вот мой на скорую руку заточеный многопоточный парсер подсказок гугла, можно выбрать язык, таймаут , поддержка прокси (хренпойми каких, не все любит )
требуется нет фреймворк 4.0 или выше

http://yadi.sk/d/fuQohWgy4yYhg

[excl]

Спасибо. Он и без прокси работает.

[Strannic]

Сообщение от dady

вот мой на скорую руку заточеный многопоточный парсер подсказок гугла, можно выбрать язык, таймаут , поддержка прокси (хренпойми каких, не все любит )
требуется нет фреймворк 4.0 или выше

http://yadi.sk/d/fuQohWgy4yYhg

спасибо! для мелких быстрых прогонов хорош, но я заебусь вручную гонять свои 900 кеев
готов заплатить если все будет реализовано по ТЗ,
а также только в форме скриптового исполнения.

[CrazyStudentS_Mi}{]

недавно постил сюда примерно такое же тз, но нашел почти все что мне надо в А-парсере, там очень много доп функций, кроме парсинга кейвордов

[bess]

dady, хорошо было бы сделать возможность отключения записи кол. результатов выдачи.

[Strannic]

Сообщение от CrazyStudentS_Mi}{

недавно постил сюда примерно такое же тз, но нашел почти все что мне надо в А-парсере, там очень много доп функций, кроме парсинга кейвордов

да тоже сидел смотрел апарсер перед тем как написать пост,
была бы демка его может и посмотрел бы еще как он сможет реализовать выполнение задачи... но по скринам хз что он там могет и каким образом ....

[excl]

Strannic, так свяжись с разработчиком, он точно скажет подойдет под задачи или нет.

[Strannic]

Сообщение от excl

Strannic, так свяжись с разработчиком, он точно скажет подойдет под задачи или нет.

та нее, ради одного парсера он пока мне не нужен, что он потом пылиться будет.

[Strikelol]

Апарсер, датакол. Правда сайт датакола упал и все юзеры наверняка сейчас курят бамбук.