Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7570
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 11.02.2012, 20:15   #1
sad_taliban
Senior Member
 
Аватар для sad_taliban
 
Регистрация: 03.08.2011
Сообщений: 773
Бабло: $263625
По умолчанию Питонеры тут есть? Помогите с работой скрипта через прокси

Есть список проксей: proxy.txt
Забираю с урла json инфу так:

url = 'www.url.com'
data = urllib2.urlopen(url).read()
data = json.loads(data)

как сделать чтобы все запросы к урлам шли через прокси? (socks5)
sad_taliban вне форума  
Старый 11.02.2012, 20:30   #2
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
Отправить сообщение для lorien с помощью Skype™
По умолчанию

Попробуй это http://socksipy.sourceforge.net/ если нужна работа с urllib. Если можешь использовать pycurl, то просто его юзай, он любые прокси умеет.
lorien вне форума  
Старый 11.02.2012, 23:25   #3
masolit
Senior Member
 
Аватар для masolit
 
Регистрация: 18.08.2007
Сообщений: 1,105
Бабло: $195515
По умолчанию

grab решение всех проблемм
masolit вне форума  
Старый 12.02.2012, 03:27   #4
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,903
Бабло: $322214
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
По умолчанию

урллибы эти совсем не приспособлены для интенсивной работы (и с проксями), ну т.е. ты можешь канешно поменять на время проксю, но заставить это работать в потоках - NO.

юзай граб.
WebNinja вне форума