Kozyol - замечательный парсер гугла. Релиз.

[Dmi]

Всем привет!

Парсер – не бог весть сложная программа, тем не менее этот инструмент незаменим. При создании парсера гугла Kozyol была поставлена задача сделать легкий в управлении, лаконичный, гибкий и стабильный софт. Я думаю, он вам понравится =) перечислю основные моменты:

1. Возможности, ставшие стандартом такого рода софта:

1.1. естественно, многопоточность, причем умная: динамическое распределение работы в ходе процесса парсинга, ни один поток не будет висеть без дела, если даже он выполнил свою часть работы

1.2. конечно прокси, которые при парсинге гугла нужны как воздух, поддержка следующих типов проски: http, socks4, socks5 (чего так не хватало в ауре); просто укажите источник и парсер с ним разберется)

1.3. использование ротаторов – это файлы с подстановками к запросу, например с доменными зонами. Их цель “вращать выдачу”, чтобы получить больше 1000 результатов, котрые отдает гугл по дефолту

2. Минимум настроек:



3. Удобный менеджер управления заданиями парсинга: все в любой момент можно проследить, остановить, поставить на паузу и пр.

тут еще чуть подробнее со скринами

Технические детали:
- парсер серверный, для работы нужен python (2.5 и новее) и php, и библиотека curl

- идеальным вариантом будет любой юниксовый сервер или вдс

Цена и условия:
- цена на парсер гугла Kozyol 50 долларов
- установка парсера и настройка сервера/вдс (включая установку нужного софта) – пока бесплатно
- принимаю: webmoney, paypal, paxum
- мои контакты: icq 280870084, email: [email protected]

http://kozyol.com/

[weddraid]

Планируется ли добавление других поисковиков? И когда, если планируется? И по цене как будет?
Кстати насчет того чтоб запустить козлика на локальном компе с Win системой - так как наследник aura то кажись вряд ли получится (aura в свое время долго пытался запустить на win тачке - норм пошла она тока на unix тачке)

[Dmi]

Сообщение от weddraid

Планируется ли добавление других поисковиков? И когда, если планируется? И по цене как будет?
Кстати насчет того чтоб запустить козлика на локальном компе с Win системой - так как наследник aura то кажись вряд ли получится (aura в свое время долго пытался запустить на win тачке - норм пошла она тока на unix тачке)

да, планируется активное развитие как раз в течении этого лета, по цене сейчас пока точно не скажу, думаю это будет в виде дополнительных модулей

текущей версии нужен юникс, но впрочем переделать несколько моментов не сложно для работы на виндовс

[Dmi]

Дорогие клиенты! Для получения постоянного доступа для скачки скрипта и обновлений обратитесь ко мне (укажите желаемый логин).

Для скачки доступен вновь обновленный скрипт:
- были исправлены выявленные ошибки
- более подрбное логирование действий парсер
- в менеджер добавлен инструмент join, который объединяет файлы с результатами

Буду рад новым пожеланиям к обновлениям.

[digg]

вот буквально на днях писал для себя очередной парсер гугля однопоточный без проксей под провайдера с дин айпи, так вот что заметил, когда начинаешь последовательно листать страницы с паузой или без, даже с разных айпи, то гугль вкуривает что его кто-то парсит с этих разных айпи и банит любой айпи. Возникла идея сделать так:
перед началом парсинга все строчки запросов, включая номер страницы сохранить в файл, перемешать их и в случайном порядке парсить, чтоб гугль бот ничего не понял

[Dmi]

да, есть такое
кстати, когда у меня в парсера идет распределение урлов-запросов для парсинга гугла все разбивается среди потоков, и, получается что все это идет не последовательно а случайно и с разных айпи

[Dmi]

Снова обновлен менеджер:
теперь различаются два инструмента:
unique by domains - удалить дубли по домену
get domains - получить список доменов из результатов

[Dmi]

Для покупателей парсера Коzyol на дорген DMI 3 Static действует скика 25$

[Dmi]

Обновление менеджера результатов

1. Добавлен новый инструмент get alive urls, который оставит только живые ресурсы
2. В менеджер добавлены фильтры с условиями (if contains/if does not contain), т.е. результаты можно отфильтровать на наличие или, наоборот, отсутствие подстроки.

[Dmi]

Kozyol Google Images Parser

Добавлен отдельный парсер картинок с гугла (для скачки файл kozyol.images.*.zip). Скрипт полностью аналогичен стандартному парсеру, за исключением того, что сохраняет прямые ссылки на картинки (максимум 1000 картинок на запрос).

[Dmi]

Парсеры на заказ на базе Kozyol Parser

Принимаю заказы на написание парсеров любых ресурсов на основе движка Kozyol.
ICQ 280870084, [email protected]