Парсер серпа

[lorien]

Интересно, кто чем парсит поисковую выдачу.
Раньше видел, что были платные тулзы типа ауры на перле.
Если написать быструю мультипоточную парсилку не жрущую память, работающую из командной строки на linux/windows/macos, на неё будет спрос пусть и за не большую цену?

[simba]

Сообщение от lorien

Интересно, кто чем парсит поисковую выдачу.
Раньше видел, что были платные тулзы типа ауры на перле.
Если написать быструю мультипоточную парсилку не жрущую память, работающую из командной строки на linux/windows/macos, на неё будет спрос пусть и за не большую цену?

А в каком виде вы хотите сохранять результаты парсинга?

[jonn22]

уже не будет спроса

[wadonius]

тут наверно уже вся ниша занята

[redlain]

Сообщение от jonn22

уже не будет спроса

можешь чтото предложить?

[lorien]

> А в каком виде вы хотите сохранять результаты парсинга?

А видов этих не особо много Текстовый файл или база данных, а всё остальное уже вариации.

> тут наверно уже вся ниша занята

А чем занята? Покажите, примеры, пожалуйста, парсеров парсящих выдачу google в промышленных объёмах.

> уже не будет спроса

Почему не будет? Парсинг серпа уже неактуален?

[LorikX]

Сообщение от lorien

Интересно, кто чем парсит поисковую выдачу.
Раньше видел, что были платные тулзы типа ауры на перле.
Если написать быструю мультипоточную парсилку не жрущую память, работающую из командной строки на linux/windows/macos, на неё будет спрос пусть и за не большую цену?

1. заебешься ты бан по IP со стороны гуглы обходить ....
2. Заебешься ты парсить постоянно меняющийся формат выдачи ...

И кучу прочего ты делать заебешься

[digg]

Сообщение от LorikX

1. заебешься ты бан по IP со стороны гуглы обходить ....
2. Заебешься ты парсить постоянно меняющийся формат выдачи ...

И кучу прочего ты делать заебешься

вот проблема

[lorien]

> 1. заебешься ты бан по IP со стороны гуглы обходить

Я думаю тут должны работать стандартные методы: анонимные прокси и/или разгадывание капчи через антикапча сервисы. Ещё, может быть, можно использовать разные датацентры и прочие приколы.

> 2. Заебешься ты парсить постоянно меняющийся формат выдачи

Он же не каждый час меняется, да и не каждый день, наверное. В том и смысл платной парсилки, что обновления бесплатные или платные, но они есть

[ewolwer]

Парсить через антикапча сервисы это наверн будет прикольно )
Прикрути прокси/соксы, придумай фичу что бы формат выдачи не задрачивал, и еще много интересного попридумывай, дай двум трём человекам на тест а потом смотри будет спрос или нет) если спроса не будет юзай сам)
"не жрущую память" - а что жрать будет? проц? и как себя будет вести при условии что напаршенная база в 10-20-30лямов)
тут много ньюансов есть) Напишешь рульный парсер, обеспечишь поддержку и не дорогоую цену, хули - спрос появится обязательно)