Всем привет!
Парсер – не бог весть сложная программа, тем не менее этот инструмент незаменим. При создании парсера гугла Kozyol была поставлена задача сделать легкий в управлении, лаконичный, гибкий и стабильный софт. Я думаю, он вам понравится =) перечислю основные моменты:
1. Возможности, ставшие стандартом такого рода софта:
1.1. естественно, многопоточность, причем умная: динамическое распределение работы в ходе процесса парсинга, ни один поток не будет висеть без дела, если даже он выполнил свою часть работы
1.2. конечно прокси, которые при парсинге гугла нужны как воздух, поддержка следующих типов проски: http, socks4, socks5 (чего так не хватало в ауре); просто укажите источник и парсер с ним разберется)
1.3. использование ротаторов – это файлы с подстановками к запросу, например с доменными зонами. Их цель “вращать выдачу”, чтобы получить больше 1000 результатов, котрые отдает гугл по дефолту
2. Минимум настроек:
3. Удобный менеджер управления заданиями парсинга: все в любой момент можно проследить, остановить, поставить на паузу и пр.
тут еще чуть подробнее со скринами
Технические детали:
- парсер серверный, для работы нужен python (2.5 и новее) и php, и библиотека curl
- идеальным вариантом будет любой юниксовый сервер или вдс
Цена и условия:
- цена на парсер гугла Kozyol
50 долларов
- установка парсера и настройка сервера/вдс (включая установку нужного софта) – пока бесплатно
- принимаю: webmoney, paypal, paxum
- мои контакты: icq 280870084, email:
[email protected]
http://kozyol.com/
ТС
Линейный вид
