Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.8360
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 25.04.2009, 19:09   #1
durman
Senior Member
 
Аватар для durman
 
Регистрация: 06.02.2008
Сообщений: 315
Бабло: $91645
По умолчанию А как вы пишите сетевых ботов ?

собсно сабж касается парсеров граберов и тп.
Кто любит писать такие вещи на пхп ? я когда-то делал парсер, использовал не блокирующие сокеты, пришлось с нуля тогда писать весь протокол http. (а потоки в пхп вообще лучше не трогать)
Для себя пока пишу на perl, но его потоки тож оставляют желать лучшего. Искал готовые http классы для не блокирующих сокетов , ничего пока не нашел. LWP как обычно тормозит и глючит. Собираюсь использовать POE, хотя есть мнение, что это тормозной фреймворк.
В общем, ботосторители, давайте делиться опытом! какие языки и фрэймворки юзаете ?
durman вне форума  
Старый 25.04.2009, 19:23   #2
zlaya ssuka
ChefJavaProgrammierer
 
Аватар для zlaya ssuka
 
Регистрация: 05.04.2007
Сообщений: 1,166
Бабло: $15090
Отправить сообщение для zlaya ssuka с помощью ICQ
По умолчанию

Цитата:
Сообщение от durman Посмотреть сообщение
Для себя пока пишу на perl, но его потоки тож оставляют желать лучшего. Искал готовые http классы для не блокирующих сокетов , ничего пока не нашел. LWP как обычно тормозит и глючит. Собираюсь использовать POE, хотя есть мнение, что это тормозной фреймворк.
На пхп есть курл. который хоть и тормоз, но не блокирующие сокеты юзает.

А вообще юзай яву - есть
1. отличные потоки
2. хорошие хттп клиенты разного уровня
3. почти абсолютная портируемость с локалхоста на сервер.
zlaya ssuka вне форума  
Старый 25.04.2009, 23:49   #3
durman
Senior Member
 
Аватар для durman
 
Регистрация: 06.02.2008
Сообщений: 315
Бабло: $91645
ТС -->
автор темы ТС По умолчанию

да, есть такая вещь как curl, и в частности multicurl (на неблокирующих сокетах). но multicurl не работает через socks (т.е. работает как обычный curl). но в целом для большинства задач подходит.
И курл конечно доступен не только в пхп

Про java ничего сказать не могу, хотя сам не однократно думал, что это будет лучшей платформой. Но реально из моих знакомых никто на jave ботов не пишет. (Вот на С пишут, но по мне - это фанатизм, так и до асм'а не далеко)
durman вне форума  
Старый 25.04.2009, 23:58   #4
Hector
Статус кво
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: California
Сообщений: 11,243
Бабло: $1447920
Отправить сообщение для Hector с помощью ICQ
По умолчанию

курс сосет если дело касается дохлых соксов - при этом раскладе он не понимает таймауты... это главная бочина
__________________
----
Hector вне форума  
Старый 26.04.2009, 02:07   #5
PCoder
Юниор
 
Регистрация: 13.04.2009
Сообщений: 29
Бабло: $500
По умолчанию

Юзаю форки + обычный курл/обычный сокет.

Php не умеет правильно работать с неблокирующимися сокетами, они у него получаются полублокирующиеся.

Вот хотите спорьте хотите нет, но это так.
PCoder вне форума  
Старый 26.04.2009, 08:42   #6
kalombo
Senior Member
 
Аватар для kalombo
 
Регистрация: 20.04.2008
Сообщений: 598
Бабло: $115497
Отправить сообщение для kalombo с помощью ICQ
По умолчанию

А может че для Питона посоветуете? Для работы с соксами я использовал pyCurl, но что-то глючило, скрипт зависал всеми потоками. Я так понял всё было из-за этого:
Цитата:
курс сосет если дело касается дохлых соксов - при этом раскладе он не понимает таймауты... это главная бочина
kalombo вне форума  
Старый 26.04.2009, 09:45   #7
dimok
Senior Member
 
Регистрация: 03.04.2007
Сообщений: 373
Бабло: $15810
По умолчанию

писали на всем, чем можно. лучше всего получилось на яве и на с#
__________________
ROTAPOST - сука намбер ван по блогам и тви!
dimok вне форума  
Старый 26.04.2009, 12:18   #8
Eddie
Редко захожу на форум
 
Регистрация: 22.08.2007
Сообщений: 82
Бабло: $11425
По умолчанию

В основном Perl, использую или LWP::UserAgent или WWW::Mechanize.
Eddie вне форума  
Старый 26.04.2009, 12:55   #9
Dmitry HT
В помошь вебмастеру!
 
Аватар для Dmitry HT
 
Регистрация: 11.09.2007
Сообщений: 437
Бабло: $27673
По умолчанию

Цитата:
Сообщение от dimok Посмотреть сообщение
писали на всем, чем можно. лучше всего получилось на яве и на с#
а как дела с сокс5 у них?
Dmitry HT вне форума  
Старый 26.04.2009, 13:58   #10
Oizo
aka Skam
 
Аватар для Oizo
 
Регистрация: 02.03.2007
Сообщений: 249
Бабло: $13475
Отправить сообщение для Oizo с помощью ICQ
По умолчанию

Дела с сокс5 у них великолепны.
Oizo вне форума