Бесплатный парсер

[Adm]

Десктопный парсер выдачи Google. Сохраняет базу в txt-формате. Выдает заданное количество результатов поиска. Парсит с любой страницы до конца выдачи. Не берет ссылки на сам Google - только на результаты поиска. Никаких наворотов, только функционал.

Писал сам, поэтому буду благодарен за комменты - чего добавить/убрать.

Взять можно тут.

[Adm]

Сообщение от Le Comte de Monte-Cristo

Имеет. Банит сцуко через некоторое время.
Практика: с одного IP при холде 6 секунд банит примерно через 5000 запросов. При холде 10 сек вообще не банит, только внуки потом будут разгребать результаты....

Поясните, плз, что такое 10 сек - задержка м/ду запросами? Или м/ду перелистыванием страниц запроса? Сделать-то задержку - не проблема, но где?

[regulus]

Сообщение от Adm

Какие пароли? Нет там никаких паролей. Может измениться только признак конца парсинга, это зависит от Google. Но и в этом случае напарсенную базу можно будет сохранить после сообщения об ошибке.

[Adm]

Сообщение от regulus

[mudoeb]

афтору респект, только сделай

- управляемую задержку между обращениями к странице
- поменьше окно и чтоб, посередине экрана, а то у мине при 1024х768 оно где то справа внизу и слишком длинное

на чём писал ?

[reddik]

привет
программка может стать еще полезнее после минимальных исправлений
я написал недавно парсер гугла для моих узкоспецифических нужд, он у меня круглосуточно парсит, не быстро, зато осторожно
задержку меду запросами сделал рандомную от 10 до 30 секунд, и запросы постоянно чередуются
забанили всего пару раз за месяц
т.е. если добавить задержку и возможность задавать несколько запросов, будет хорошо

[Adm]

Сообщение от reddik

привет
программка может стать еще полезнее после минимальных исправлений
я написал недавно парсер гугла для моих узкоспецифических нужд, он у меня круглосуточно парсит, не быстро, зато осторожно
задержку меду запросами сделал рандомную от 10 до 30 секунд, и запросы постоянно чередуются
забанили всего пару раз за месяц
т.е. если добавить задержку и возможность задавать несколько запросов, будет хорошо

Спишемся в асе? Очень нужен совет - как сделать лучше! Т.е. код я и сам реализовать смогу, а вот где задержку ставить - между перелистыванием страниц запроса, или между запросами?

[Adm]

Сообщение от mudoeb

афтору респект, только сделай

- поменьше окно и чтоб, посередине экрана, а то у мине при 1024х768 оно где то справа внизу и слишком длинное

на чём писал ?

Окно - сделаю, чтоб вылезало посерёдке. Как откомпилировал, так и лезет. Не проблема. Да и автосайз под расширение можно замандить...

Писал на Delphi7.

[mudoeb]

делай ... жду обновлений, буду юзать и осторожно кликать по рекламе (не больше 2 раз в день)

ОБЯЗАТЕЛЬНО СДЕЛАЙ чтобы можно было вставлять не только текстовый запрос, но и адрес который получается в адресной строке например - http://www.google.ru/search?hl=ru&q=...ogspot.com&lr= < чтобы вот это можно было вставлять и парсить (а то там бывает много важных параметров, которые в поисковом поле не пропишешь)

добавь ещё кнопки пауза/продолжить и стоп

баги
- у меня прога после парсинга не закрывается, приходится применять насилие
- "хотим результатов" = 10 а парсит = 100
- иногда нельзя вставить новый запрос для парсинга,после того как закончил первый парсинг (было выставлено максимальное количество результатов)

[Adm]

Постараюсь исправить все вышеуказанное.
С наступающим!

[mudoeb]

тебя тоже ...

сделай чтобы результаты предыдущего парсинга сбрасывались (или не сбрасывались - опционально) после начала нового парсинга

убери ещё эти дурацкие полосы прокрутки по краям программы а то раздражают ...

и поменяй дизайн проги, имхо браузер там ваще не нужен ... сделай окно проги покомпактнее и посимпатичнее - типа вверху твой банер с приглашением кликнуть, ниже окно для запросов и для вставки адреса (см. мой пост выше), потом кнопки управления, ниже окно с результатами, под ним кнопки для сохранения и всякие опции