Парсер серпа

[lorien]

Интересно, кто чем парсит поисковую выдачу.
Раньше видел, что были платные тулзы типа ауры на перле.
Если написать быструю мультипоточную парсилку не жрущую память, работающую из командной строки на linux/windows/macos, на неё будет спрос пусть и за не большую цену?

[lorien]

Окей, вижу некоторый интерес есть. Попробую чего-нибудь нарисовать и расскажу что получилось

[Kass]

Сообщение от ewolwer

Парсить через антикапча сервисы это наверн будет прикольно )
Прикрути прокси/соксы, придумай фичу что бы формат выдачи не задрачивал, и еще много интересного попридумывай, дай двум трём человекам на тест а потом смотри будет спрос или нет) если спроса не будет юзай сам)
"не жрущую память" - а что жрать будет? проц? и как себя будет вести при условии что напаршенная база в 10-20-30лямов)
тут много ньюансов есть) Напишешь рульный парсер, обеспечишь поддержку и не дорогоую цену, хули - спрос появится обязательно)

и добавить нечего. Хороший многопоточный скриптовый парсер, всегда пригодится. Главное вынести настройки парсинга теплейта нормально. Что бы скрипт не был на тебя завязан.

[twistsm]

Будет спрос, если парсер будет иметь возможность парсить любую ПС.
Например, как hrefer. При помощи состемы шаблонов.

1. Пользователь может задать любой шаблон и добавить любую ПС
2. Пользователь может регуляркой задать любой объект парсинга (линк, тайтл, сниппет, etc..)

Среди гуевых парсеров я такого не видел. а консольные парсеры вроде как в паблике не наблюдаются, хотя это наверняка более надежно и сильно :-)

Давай лучше OpenSource зафигачим :-)
У мну есть парсер гугла написанный мной на python в сыром виде на коленках. Вполне рабочий. Можно над ним поработать и развить как OpenSource проект - мне не жалко :-)

[t0ster]

На чем пишешь? Давай писать вместе, у меня есть парсер, который кое-как парсит гугл в несколько потоков с использованием антикапча сервисов написано все это на python/twisted.

[WebNinja]

Сообщение от lorien

Интересно, кто чем парсит поисковую выдачу.
Раньше видел, что были платные тулзы типа ауры на перле.
Если написать быструю мультипоточную парсилку не жрущую память, работающую из командной строки на linux/windows/macos, на неё будет спрос пусть и за не большую цену?

юзаю свою парсилку и твой (вроде твой) модуль-обертку grab

кстати http://ninjaside.info/2009/08/analiz...erp-na-python/
такой штукой пользуюсь тоже, но автор уже забил и после последнего патча некоторые функции не работают хотя солюшены есть комментах.

[lorien]

Блин, меня заколебал opensource Я денег хочу, писать за просто так качественный продукт ради признания я не хочу. Хотя, шифровать исходники я не буду - всё равно утекёт в public потом, но мне кажется есть порядочные люди, которым будет не в ломы заплатить копеечку за скрипт, тем более что это подразумевает поддержку и обновления.

grab мой, ага, я кстати недавно туда добавил клёвую фичу по автозаполнению форм, теперь можно делать вещи типа:

g.go('some url')
g.set_input('username', '..')
g.set_input_by_id('id_password', '..')
g.submit()

Ну а hidden поля сами обработаются и ещё selectы заполнятся первыми вариантами.

В больших объёмах grab не получится использовать т.к. он подразумевает работу в потоках - а это затраты на память-процессор больше по сравнению с асинхронностью. Хотя... была идея прикрутить multicurl к grab, не пробовал пока.

[rushter]

Это бы на urllib переписать, вообще бы круто было

[lorien]

А чем pycurl плох?

На urllib есть похожий проект: http://wwwsearch.sourceforge.net/mechanize/

[rushter]

Мехайнаиз мне не нравится, а с pycurl ресурсов прилично потребляется. И не даёт с одним объектом многопоточно работать, но это не так плохо и понятно по каким причинам это не сделать.

[Kass]

TC, делай надо будет потестить я первый потещу через соксы