Парсер Гугла

[sspy]

Какие сейчас парсеры актуальны ?

[mlu]

Есть еще бесплатный парсер в виде модуля для checkparams: http://checkparams.com/ru/node/168

Проксичекер в комплекте к чекпарамс 8)

[1een]

Сообщение от sspy

Хрефер же если прокси чуть глючат теряет все запросы, очень "нежный" парсер. Как по мне ему красная цена полтинник, больше он не стоит. У тебя сколько резалтов получалось на нем пропарсить ?

30М. Соглашусь, что алгоритм простой проще некуда, но если немного пораскинуть с запросами - то можно обойти и баны и пропуски - выпарсить придется больше - но все равно потом чекать и чистить.

Систему он не очень грузит, ну, подумаешь, заберет одно ядро , мне не жалко, пусть пашет.

[adamant]

ну у меня 4 копии хрума работает с разными заданиями, парсер баблса 12 заданий по 200 потоков, с запросами не мудрил, закидывал паблик который в нете лежит, так что при старте скорость сбора очень радовала а потом пошли неуник урлы.

все это куриться на одном серваке

[Maximus325]

В подписи.

[WebNinja]

для парсинга ПС весьма вероятная проблема - кучи проксей, при больших объемах. + классический баттл Десктоп vs. Сервер.

30М при 10 резалтах на странице превращаются в 3 ляма запросов ) это баловство.

В подписи.

вот жеж как я и говорил выше, человек разработал такой охуенный софт, это куча времени на разработку, тестирование и т.д., а там "успешные" эксперты ноют как дорого 150 баксов и абонентка (да и дайте им еще бесплатные прокси) и что есть "другие решения, которые бесплатно ваааще"

[1een]

Сообщение от WebNinja

30М при 10 резалтах на странице превращаются в 3 ляма запросов ) это баловство.
:

Дубли удаляются, ну четы, не лохи ж тут. Раз в дцать больше.

И все верно насчет проксей. Еще раз для разработчиков: написать собиралку ссылок по входящему урлу - это конечно задача с мировой олимпиады по программированию.

А скачните ProxyFire (да, придется, поставить виртуалку на lunix, тяжело но пережить можно), посмотрите, как он работает и реализуйте в своем продукте. Вот тогда я куплю. Просто оторву с руками.

[Maximus325]

У меня парсит лямов 30 за 4-5 дней в 400 поток на авмпроксях.
После удаления дублей отсается 4-5 лямов. Из которых актив все глишь 5-10к ресов.
Чего то может с запросами у меня не так, устал парсить уже.

Если у кого есть база запросов для апостера (своя какая то хитровыебаная), но нету парсера готов скоопирироваться. Я паршу, база вам и мне. Дальше меня база и запросы не уйдут.
Ну это если интересно кому конечно.

[WebNinja]

Еще раз для разработчиков: написать собиралку ссылок по входящему урлу - это конечно задача с мировой олимпиады по программированию.

напиши ) на словах то канешно все просто получается, примерно как:
"...все бабы бляди и солнце ебаный фонарь"

А скачните ProxyFire (да, придется, поставить виртуалку на lunix, тяжело но пережить можно), посмотрите, как он работает и реализуйте в своем продукте.

а может и поебаться еще завернуть на сдачу?

Вот тогда я куплю.

ага.
[виндовс|whatever] тоже покупаешь? или там тоже "что то не так"

30лямов это 3.4 гига где-то только сами ссылки будут весить ) я уж боюсь представить размеры файлов кого "раз в n-цать больше"

После удаления дублей отсается 4-5 лямов. Из которых актив все глишь 5-10к ресов.

за сколько по времени дубли удаляются с такого объема?

[Maximus325]

Сообщение от WebNinja

за сколько по времени дубли удаляются с такого объема?

PHP код:

sort -t '/' -k2,3 -u base.txt > base2.txt 


Это форбиден кстати посоветовал, минут 5-7 вроде.

[sspy]

Сообщение от Maximus325

В подписи.

вот к нему я и склоняюсь, если с хреферером непрокатит

Сообщение от WebNinja

вот жеж как я и говорил выше, человек разработал такой охуенный софт, это куча времени на разработку, тестирование и т.д., а там "успешные" эксперты ноют как дорого 150 баксов и абонентка (да и дайте им еще бесплатные прокси) и что есть "другие решения, которые бесплатно ваааще"

ты так говоришь как будто бесплатно это что-то плохое. сколько есть бесплатного и годного софта - это просто о...ть.

с одной стороны абонентка это залог что софт не сдохнет, а с другой это дибильное ограничение. и дело не в цене, а в принципе. просто сейчас многие хотят толкать свой софт как saas.

Сообщение от 1een

А скачните ProxyFire (да, придется, поставить виртуалку на lunix, тяжело но пережить можно), посмотрите, как он работает и реализуйте в своем продукте. Вот тогда я куплю. Просто оторву с руками.

на том-же grab или любом другом подобном классе функционал проксифера пилится за пару дней.