Софт для заворачивания http -> socks

[lorien]

Вот, например, мои скрипты не умеют по socks ходить. Умеют только http-прокси юзать. Есть ли какая-нить софтина, которая может слушать на тысячи портов и каждый порт заворачивать на закреплённый за ним socks? Ну т.е. я хочу ходить на соксы через промежуточную http-проксю.

[lorien]

> зачем requests, переходи на urllib2 ))

Там из коробки ряд вещей удобных, впрочем я чё-то затрудняюсь прям щас сказать, чем бы мне голый urllib не подошёл

> зелёные потоки

Да, создаю тысячи гринлетов через gevent - всё норм пашет.

По сути requests это во многом библиотека urllib3. Там кстати ведутся работы по внедрению сокетов, но чё-то как-то вяло https://github.com/shazow/urllib3/issues/690

Вот кстати, вроде как, более актуальный форк SockyPy: https://github.com/Anorov/PySocks Автор этого форка сделал pull-request в urllib3 для поддержки соксов, но я тестил - чё-то этот pull request не работает нифига.

[веломан]

Сообщение от lorien

>Чуда не произойдёт. Протокол SOCKS4/5 подразумевает, что в начале ты стучишься на сервер с запросом CONNECT и указываешь iport сервер, к которому ты хочешь подрубиться через сокс-сервер. Сокс сервер создаёт соединение с желаемым сервером и уже потом отвечает тебе, что мол всё ок, вот тебе локальный port можешь через него посылать пакеты, я буду их пересылать к удалённому серверу. От того, что я укажу вместо порта http порт socks, эти все вещи автоматом делаться не будут Более того буду делаться неправильные вещи. Будут слаться данные в формате, которые socks-сервер не ожидает.

Под софтом я подразумеваю скрипты, которые сам разрабатываю.

т.е. тебе 1 строчку влом изменить?
Лучше костыль промежуточный тормозящий?
Даже если соединения это не отдельный файл с классом, всё-равно я бы 1 раз расширил функционал и забыл.

[lorien]

Там не одна строчка. Мне нужны пулы соединений, чтобы контролировать общее кол-во соединений. Это всё отлаживать надо. Т.е. меня бы устроил для начала вариант с http->socks проксёй хорошей.

[Nosfer]

Сообщение от lorien

Вот, например, мои скрипты не умеют по socks ходить. Умеют только http-прокси юзать. Есть ли какая-нить софтина, которая может слушать на тысячи портов и каждый порт заворачивать на закреплённый за ним socks? Ну т.е. я хочу ходить на соксы через промежуточную http-проксю.

Если не умеют, чет не рубаюсь, как тогда grub spider пашет через socks:

PHP код:

bot.load_proxylist('/tmp/__proxy.txt', 'text_file', proxy_type='socks5') 


скорость правда раз в 10 ниже чем напрямую, но под мелкие объемы прокатывает

[lorien]

> скорость правда раз в 10 ниже чем напрямую, но под мелкие объемы прокатывает

Там всё печально, multicurl сам по себе плохо работает с socks, некоторые операции там блокирующие. Если взять, например, fineproxy, то Spider по протоколу socks5 будет работать в несколько раз медленнее, чем по протоколу HTTP

И вообще в этом конкретном проекте я юзаю gevent + requests, а не spider.

[Nosfer]

Сообщение от masolit

зачем requests, переходи на urllib2 ))

PHP код:

import urllib2
import socks
from sockshandler import SocksiPyHandler

opener = urllib2.build_opener(SocksiPyHandler(socks.SOCKS5, "127.0.0.1", 9050))
print opener.open("http://www.somesite.com/") 


и да requests нормально пашет с зелеными потоками ?

а дальше через multiprocessing делаешь?

[masolit]

Сообщение от Nosfer

а дальше через multiprocessing делаешь?

зачем ? gevent и все.