Парсер серпа

[lorien]

Интересно, кто чем парсит поисковую выдачу.
Раньше видел, что были платные тулзы типа ауры на перле.
Если написать быструю мультипоточную парсилку не жрущую память, работающую из командной строки на linux/windows/macos, на неё будет спрос пусть и за не большую цену?

[twistsm]

Сообщение от lorien

Блин, меня заколебал opensource Я денег хочу, писать за просто так качественный продукт ради признания я не хочу. Хотя, шифровать исходники я не буду - всё равно утекёт в public потом, но мне кажется есть порядочные люди, которым будет не в ломы заплатить копеечку за скрипт, тем более что это подразумевает поддержку и обновления.

На OpenSource также можно хорошо зарабатывать! Напирмер, выпуская коммерческие плагны к софту. Ты не забывай, что если софт качественный и бесплатный - он быстро получает полулярность. Как на этом навариться - дело не сложное

[lorien]

twistsm, ты путаешь понятия. Open source не бесплатен, не в бесплатности суть а в прозрачности. Купил ты или получил бесплатно open source продукт, ты всегда можешь посмотреть как он устроен, что у него внутри - это и есть open source.

http://ru.wikipedia.org/wiki/Открыто...ое_обеспечение

> На OpenSource также можно хорошо зарабатывать! Напирмер, выпуская коммерческие плагны к софту.

Можно примеры услышать такого зарабатывания денег? Не обязательно в SEO индустрии, хотя в ней было бы особо интересно услышать пример. И опять же непонятно, говоришь ты о зарабатывании на бесплатном софте или зарабатывании на open source софте.

[twistsm]

Сообщение от lorien

twistsm, ты путаешь понятия. Open source не бесплатен, не в бесплатности суть а в прозрачности. Купил ты или получил бесплатно open source продукт, ты всегда можешь посмотреть как он устроен, что у него внутри - это и есть open source.

http://ru.wikipedia.org/wiki/Открыто...ое_обеспечение

> На OpenSource также можно хорошо зарабатывать! Напирмер, выпуская коммерческие плагны к софту.

Можно примеры услышать такого зарабатывания денег? Не обязательно в SEO индустрии, хотя в ней было бы особо интересно услышать пример. И опять же непонятно, говоришь ты о зарабатывании на бесплатном софте или зарабатывании на open source софте.

Я прекрасно знаю что такое Open Source :-) По плагинам - тысяча примеров. Один из ярких - WP-ecommerce.

[twistsm]

Тут вообще стратегию надо продумать. Если ты хочешь написать очередной обычный парсер, то напиши с закрытым кодом и продавай на форуме.

Если хочешь чего-то большего, то надо думать. Как вариант, сделать закрытый исходник и бесплатный парсер гугла/яху, для которого можно будет покупать отдельно плагины для парсинга разных ПС или типа того. Пользоваться будут все. Рано или поздно толпа народа захочет парсить и другие ПС, а таких людей очень много.

Если делать открытый код, то только для спорта, конечно. Просто рынок парсеров ПС совсем занят как бы. Че ты принципиально нового напишешь, ты хоть придумал?

[lorien]

> Если ты хочешь написать очередной обычный парсер, то напиши с закрытым кодом и продавай на форуме.

Не совсем. Код будет открытым т.к. я без понятия:
* как на python закрывать код
* какой смысл его закрыть, не делая защиту от копирования, с которой мне совсем не хочется морочиться

Смысл закрытия кода я вижу в:
* сокрытие алгоритмов для того, чтобы на базе моего продукта не сделали похожий и не продавали его
* затруднении расширения функционала программы сторонними программистами

То есть я изначально планировал делать Open Source.

> Просто рынок парсеров ПС совсем занят как бы. Че ты принципиально нового напишешь, ты хоть придумал?

Я в этом топике пытаюсь услышать, чем этот рынок занят Я бы хотел увидеть конкретные названия продуктов и цены на них. Ну или ссылки на качественные бесплатные opensource решения

> По плагинам - тысяча примеров. Один из ярких - WP-ecommerce.
Это плагин от создателей wordpress? Если нет, то в чём смысл примера? Деньги получат те, кто сделал плагин, а не кто сделал wordpress.

[twistsm]

Сообщение от lorien

Я в этом топике пытаюсь услышать, чем этот рынок занят Я бы хотел увидеть конкретные названия продуктов и цены на них. Ну или ссылки на качественные бесплатные opensource решения

> По плагинам - тысяча примеров. Один из ярких - WP-ecommerce.
Это плагин от создателей wordpress? Если нет, то в чём смысл примера? Деньги получат те, кто сделал плагин, а не кто сделал wordpress.

Насчет WP-Ecommerce. Это продукт, которыя является электронным магазином на базе wordpress. Сам магазин изначально бесплатный. Вордпресс тут ни при чем. Но эта же контора продает расширения для своего магазина:
Pure Gold - Add product search, multiple image upload, gallery view, Grid View and multiple payment gateway options to your shop - $40
DropShop - Impress your customers with our AJAX powered DropShop that lets your customers drag and drop products into their shopping cart - $100
и так далее , вообщем тема не об этом.

А по делу, вот 3 монстра, с которыми я имел дело:

1. Один из лучших парсеров пока что Hrefer. http://www.botmasterru.com/more2/ Он платный, поставляется как дополнение к хрумеру. Очень мощный!
2. Aggress Parser - http://vector-seo.info/?p=5 - Бесплатный шустрый парсер. Очень неплохой, можно настраивать шаблон для ПС.
3. Odabase - http://jonn22.com/sp/index.php?productID=116 - платный парсер беклинков и просто ПС. Цена $150.


Лучшим выбором считаю hrefer, хотя он и тормознутый, но безумно гибкий в настройке. И, думаю, следующая версия будет еще лучше доработана, когда они наконец разберутся с хрумом :-)
Все, кто имеет хрум, парсят при помощи хрефера. Остальные не знаю на чем живут.

Парсеров много, но эти самые популярные. Пусть кто-то еще дополнит список.

[lorien]

twistsm, спасибо за ответы, подумаю над твоими словами

[WebNinja]

ваще круто что ты на гоуфак добрался. за grab мысленно жму руку ) думаю он достаточно многих остановил от того чтобы изобретать свой велосипед ваяя очередную "обертку" под курл.

теперь наше гламурное питонистское лобби вытеснит этих пхп бичей )

[exolon]

dmi продает свой дорген на питоне. Бинарники питон и лицензия. И продается..
А автору grab'а (респект!) уж сам бог велел роботов делать.
Хрумер тупит на самых простых защитах, в zenno питон все никак не сделают...

[rushter]

Сообщение от exolon

dmi продает свой дорген на питоне. Бинарники питон и лицензия. И продается..
А автору grab'а (респект!) уж сам бог велел роботов делать.
Хрумер тупит на самых простых защитах, в zenno питон все никак не сделают...

Что за набор слов ?
Там не бинарники, а байткод.
Зенно базируется на апи ie, никаких яп там нет.