А как вы пишите сетевых ботов ?

[durman]

собсно сабж касается парсеров граберов и тп.
Кто любит писать такие вещи на пхп ? я когда-то делал парсер, использовал не блокирующие сокеты, пришлось с нуля тогда писать весь протокол http. (а потоки в пхп вообще лучше не трогать)
Для себя пока пишу на perl, но его потоки тож оставляют желать лучшего. Искал готовые http классы для не блокирующих сокетов , ничего пока не нашел. LWP как обычно тормозит и глючит. Собираюсь использовать POE, хотя есть мнение, что это тормозной фреймворк.
В общем, ботосторители, давайте делиться опытом! какие языки и фрэймворки юзаете ?

[zlaya ssuka]

Сообщение от durman

Для себя пока пишу на perl, но его потоки тож оставляют желать лучшего. Искал готовые http классы для не блокирующих сокетов , ничего пока не нашел. LWP как обычно тормозит и глючит. Собираюсь использовать POE, хотя есть мнение, что это тормозной фреймворк.

На пхп есть курл. который хоть и тормоз, но не блокирующие сокеты юзает.

А вообще юзай яву - есть
1. отличные потоки
2. хорошие хттп клиенты разного уровня
3. почти абсолютная портируемость с локалхоста на сервер.

[durman]

да, есть такая вещь как curl, и в частности multicurl (на неблокирующих сокетах). но multicurl не работает через socks (т.е. работает как обычный curl). но в целом для большинства задач подходит.
И курл конечно доступен не только в пхп

Про java ничего сказать не могу, хотя сам не однократно думал, что это будет лучшей платформой. Но реально из моих знакомых никто на jave ботов не пишет. (Вот на С пишут, но по мне - это фанатизм, так и до асм'а не далеко)

[Hector]

курс сосет если дело касается дохлых соксов - при этом раскладе он не понимает таймауты... это главная бочина

[PCoder]

Юзаю форки + обычный курл/обычный сокет.

Php не умеет правильно работать с неблокирующимися сокетами, они у него получаются полублокирующиеся.

Вот хотите спорьте хотите нет, но это так.

[kalombo]

А может че для Питона посоветуете? Для работы с соксами я использовал pyCurl, но что-то глючило, скрипт зависал всеми потоками. Я так понял всё было из-за этого:

курс сосет если дело касается дохлых соксов - при этом раскладе он не понимает таймауты... это главная бочина

[dimok]

писали на всем, чем можно. лучше всего получилось на яве и на с#

[Eddie]

В основном Perl, использую или LWP::UserAgent или WWW::Mechanize.

[Dmitry HT]

Сообщение от dimok

писали на всем, чем можно. лучше всего получилось на яве и на с#

а как дела с сокс5 у них?

[Oizo]

Дела с сокс5 у них великолепны.