Впорос по настройке сервака для парсинга контента - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB93.7196
BTC/USD61281.8367
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 22.09.2009, 11:26   #1
MyName
Китайский пельмень
 
Аватар для MyName
 
Регистрация: 23.07.2008
Сообщений: 1,000
Бабло: $323219
По умолчанию Впорос по настройке сервака для парсинга контента

Есть сервак под FreeBSD на нем допустим штук 20 ip на серваке лежит скриптик который занимается парсингом контента с гугля. В скриптике в принцепе можно использовать прокси (но тока 1 шт) прописывается ручками

так вот вопрос. можно как нибудь сервак заставить парсить контент не под своим основным ip а под случайным Ip из привязанной пачки?

заранее спасибо
__________________
Карму правят тут.
MyName вне форума  
Старый 22.09.2009, 11:52   #2
baadf00d
несъедобный
 
Аватар для baadf00d
 
Регистрация: 06.04.2007
Сообщений: 692
Бабло: $79495
По умолчанию

ты хочешь сделать так, чтоб дефолтный внешний ип все время менялся?
имхо проще проапгрейдить скриптик на предмет установки внешнего ип
__________________
миром правит не тайная ложа, а явная лажа
baadf00d вне форума  
Старый 22.09.2009, 11:56   #3
MyName
Китайский пельмень
 
Аватар для MyName
 
Регистрация: 23.07.2008
Сообщений: 1,000
Бабло: $323219
ТС -->
автор темы ТС По умолчанию

угу примерно это и хочю ну или поднять прокси которое будет доступно на вход тока с самого сервака с рендомным Ip из пула на выходе
скриптик закрытый
__________________
Карму правят тут.
MyName вне форума  
Старый 22.09.2009, 14:35   #4
menvil
Юниор
 
Регистрация: 04.04.2007
Сообщений: 3
Бабло: $1337
По умолчанию

Можешь сделать вот как: в php есть функции связанные с bind которые как раз и позволяют тебе делать запросы с определенного IP. То есть загоняешь все IP в массив и рандомно выбираешь IP и биндишься с него. В перле думаю аналоги этих функций то же есть.
menvil вне форума  
Старый 22.09.2009, 15:47   #5
vakh
Senior Member
 
Регистрация: 05.01.2008
Сообщений: 253
Бабло: $37410
По умолчанию

Чтобы сильно не заморачиваться, можно заюзать вот это:

cd /usr/ports/net/socketbind/
[root[pf]@first]:[14:44]#cat pkg-descr
This library allows you to bind any application which is dynamically linked
with libc. It provides convient way to bind socket's source IP to one of the
multiple IP's available on computer.

To use it first of all point LD_PRELOAD to installed library and set BINDTO
variable to desired IP address to bind.

Here is the wrapper to run any command binded to some IP address:
env LD_PRELOAD=/usr/local/lib/libsocketbind.so.1 BINDTO=$MY_IP_ADDRESS $*

Author can be reached at "nm at web dot am" address.

Надо будет простенькую обвёрточку на шелле к скриптику написать только.
Где-то такую:

#!/bin/sh

command="/paht/to/script";
ip_list="/path/to/file/with/ip/list";

ip=`random -f $ip_list | head -1`;
env LD_PRELOAD=/usr/local/lib/libsocketbind.so.1 BINDTO=$ip $command;

В ip_list - список IP сервака, по одному в строке. В итоге каждый раз при запуске этого шелл-скрипта у тебя будет юзаться скриптом парсинга рандомный IP.
vakh вне форума  
Старый 22.09.2009, 15:52   #6
gosurf
Member
 
Аватар для gosurf
 
Регистрация: 21.04.2009
Сообщений: 54
Бабло: $4620
По умолчанию

сделай прокси на сервере, что бы слушал на всех этих ипах, потом пользуй из как хочешь.
gosurf вне форума  
Старый 22.09.2009, 15:53   #7
kip
Senior Member
 
Аватар для kip
 
Регистрация: 06.05.2007
Сообщений: 477
Бабло: $70325
Отправить сообщение для kip с помощью ICQ
По умолчанию

Есть вариант попроще - как свои, так и чужие анонимайзеры на том же php
__________________
Cloacking под любой источник трафика. Сдаю в аренду.
kip вне форума  
Старый 22.09.2009, 16:09   #8
sergeospb
коплю на феррари
 
Регистрация: 03.07.2008
Сообщений: 1,251
Бабло: $148195
По умолчанию

1. поднять прокси на одном из ипов
2. в фаире сделать форвард на эту проксю (транспарент прокси)
3. проксю настроить на балансинг между этими ипами
Я юзаю 3proxy для этого, parent тебе поможет
sergeospb вне форума  
Старый 22.09.2009, 17:13   #9
medar
кодер-энтузиаст
 
Аватар для medar
 
Регистрация: 04.04.2007
Адрес: Джамайка
Сообщений: 3,381
Бабло: $447150
По умолчанию

Зачем подстраивать ОС под скрипт ?
Нужно скрипт менять.
В Курле за ip, с которого делается запрос, отвечает CURLOPT_INTERFACE (http://ru.php.net/manual/en/function.curl-setopt.php).
medar вне форума  
Старый 22.09.2009, 23:28   #10
MyName
Китайский пельмень
 
Аватар для MyName
 
Регистрация: 23.07.2008
Сообщений: 1,000
Бабло: $323219
ТС -->
автор темы ТС По умолчанию

хм.. спасибо буду пробовать/разбиратся...

Цитата:
Сообщение от medar
Зачем подстраивать ОС под скрипт ?
Нужно скрипт менять.
В Курле за ip, с которого делается запрос, отвечает CURLOPT_INTERFACE (http://ru.php.net/manual/en/function.curl-setopt.php).
всеб хорошо но скрипт поменять возможности нет.... он закодирован автор не хочет втыкать туда много проксей вот и приходится с серваком извращатся
__________________
Карму правят тут.
MyName вне форума