Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Объявления о покупке/продаже товаров и услуг
Дата
USD/RUB58.6650
BTC/USD0.0000
Объявления о покупке/продаже товаров и услуг Также в этом разделе следует размещать и предложения о сотрудничестве.

Закрытая тема
Опции темы Опции просмотра
Старый 19.05.2013, 16:38   #1
Strannic
Strannic.org
 
Аватар для Strannic
 
Регистрация: 15.12.2010
Сообщений: 1,855
Бабло: $461140
По умолчанию Требуется скрипт парсера гугл подсказок и релейтед запросов.

Требуется скрипт, который будет осуществлять парсинг гугл подсказок (suggest) и похожих (related) запросов (те запросы которые отображаются внизу страницы выдачи)
Парсер должен иметь:
- многопоточность
- возможность использования прокси листа для предотвращения бана
- таймаут
- выбор нескольких языков
- выбор глубины парсинга

ТЗ следующее:

Перед запуском выбираем - глубину парсинга, языки парсинга, таймаут, прокси.

Запуск.

Из файла основных кеев берется кейворд.
Парсим абсолютно все подсказки (suggest) этого кея (для каждого языка которые выставлены) + все образующиеся от него, в зависимости от выставленного параметра Глубина парсинга. "Следующую глубину" получаем путем подставления ВСЕХ символов, а не только букв и цифр, и прогоняя по ТРЕМ знакам, а не только по двум.

Далее полученные списки кейвордов разделенные на языки, парсим на наличие похожих ( related) запросов, снова также разделяя по языкам.

Далее полученные кеи (related) парсим на наличие подсказок (suggest)
также как и в первый круг, но со своим параметром "глубина парсинга".
Который также должен задаваться при старте скрипта.

После чего все сохраняем в файлы вида
keyword_de.txt
keyword_en.txt
keyword_it.txt

и так далее в зависимости от количества выставленных языков.

После чего скрипт берет следующий кейворд из основного файла кеев и все по новой.

Также должны быть какие-то уведомления при бане гугла.
Чтобы знать что где-то, что-то не до конца напарсено.


Готов выслушать все предложения.
Язык программирования жестко не ограничиваю, главное скорость работы.
__________________
No cyber war and all wars... Strannic.org (с)
Strannic на форуме  
Старый 19.05.2013, 18:09   #2
dady
Senior Medved
 
Аватар для dady
 
Регистрация: 15.06.2008
Сообщений: 4,140
Бабло: $22472150
По умолчанию

вот мой на скорую руку заточеный многопоточный парсер подсказок гугла, можно выбрать язык, таймаут , поддержка прокси (хренпойми каких, не все любит )
требуется нет фреймворк 4.0 или выше

http://yadi.sk/d/fuQohWgy4yYhg
dady вне форума  
Старый 19.05.2013, 18:47   #3
excl
Senior Member
 
Аватар для excl
 
Регистрация: 24.06.2007
Сообщений: 3,695
Бабло: $3447256
Отправить сообщение для excl с помощью ICQ
По умолчанию

Спасибо. Он и без прокси работает.
excl вне форума  
Старый 19.05.2013, 18:59   #4
Strannic
Strannic.org
 
Аватар для Strannic
 
Регистрация: 15.12.2010
Сообщений: 1,855
Бабло: $461140
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от dady Посмотреть сообщение
вот мой на скорую руку заточеный многопоточный парсер подсказок гугла, можно выбрать язык, таймаут , поддержка прокси (хренпойми каких, не все любит )
требуется нет фреймворк 4.0 или выше

http://yadi.sk/d/fuQohWgy4yYhg
спасибо! для мелких быстрых прогонов хорош, но я заебусь вручную гонять свои 900 кеев
готов заплатить если все будет реализовано по ТЗ,
а также только в форме скриптового исполнения.
__________________
No cyber war and all wars... Strannic.org (с)
Strannic на форуме  
Старый 19.05.2013, 19:01   #5
CrazyStudentS_Mi}{
Senior Member
 
Аватар для CrazyStudentS_Mi}{
 
Регистрация: 06.11.2008
Сообщений: 855
Бабло: $123628
По умолчанию

недавно постил сюда примерно такое же тз, но нашел почти все что мне надо в А-парсере, там очень много доп функций, кроме парсинга кейвордов
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит!
CrazyStudentS_Mi}{ вне форума  
Старый 19.05.2013, 19:02   #6
bess
Раб системы
 
Регистрация: 07.02.2010
Сообщений: 6,178
Бабло: $1153600
По умолчанию

dady, хорошо было бы сделать возможность отключения записи кол. результатов выдачи.
__________________
За трафом - в Bizzclick !
Огненное решение для конвертации бурж давнлоад трафика. Работаем с 2015 года. В ПМ.
bess вне форума  
Старый 19.05.2013, 19:04   #7
Strannic
Strannic.org
 
Аватар для Strannic
 
Регистрация: 15.12.2010
Сообщений: 1,855
Бабло: $461140
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от CrazyStudentS_Mi}{ Посмотреть сообщение
недавно постил сюда примерно такое же тз, но нашел почти все что мне надо в А-парсере, там очень много доп функций, кроме парсинга кейвордов
да тоже сидел смотрел апарсер перед тем как написать пост,
была бы демка его может и посмотрел бы еще как он сможет реализовать выполнение задачи... но по скринам хз что он там могет и каким образом ....
__________________
No cyber war and all wars... Strannic.org (с)
Strannic на форуме  
Старый 19.05.2013, 19:11   #8
excl
Senior Member
 
Аватар для excl
 
Регистрация: 24.06.2007
Сообщений: 3,695
Бабло: $3447256
Отправить сообщение для excl с помощью ICQ
По умолчанию

Strannic, так свяжись с разработчиком, он точно скажет подойдет под задачи или нет.
excl вне форума  
Старый 19.05.2013, 19:18   #9
Strannic
Strannic.org
 
Аватар для Strannic
 
Регистрация: 15.12.2010
Сообщений: 1,855
Бабло: $461140
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от excl Посмотреть сообщение
Strannic, так свяжись с разработчиком, он точно скажет подойдет под задачи или нет.
та нее, ради одного парсера он пока мне не нужен, что он потом пылиться будет.
__________________
No cyber war and all wars... Strannic.org (с)
Strannic на форуме  
Старый 19.05.2013, 19:19   #10
Strikelol
Senior Member
 
Регистрация: 31.03.2011
Сообщений: 3,056
Бабло: $632595
По умолчанию

Апарсер, датакол. Правда сайт датакола упал и все юзеры наверняка сейчас курят бамбук.
Strikelol вне форума  
Закрытая тема



Опции темы
Опции просмотра