Очень быстрый сборщик и чекер прокси! - Форум успешных вебмастеров - GoFuckBiz.com - Страница 2
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB89.7026
BTC/USD68489.9330
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 07.10.2011, 13:23
Start Post: Очень быстрый сборщик и чекер прокси! 
  #11
getalifejerk
Ебланнед
 
Регистрация: 14.01.2011
Сообщений: 86
Бабло: $16370
Отправить сообщение для getalifejerk с помощью ICQ Отправить сообщение для getalifejerk с помощью Skype™
По умолчанию

Друзья хочу представить вам программу которая очень быстро собирает прокси и проверяет их на работоспособность, скорость работы, страну и город.
Я разрабатывал софтину для себя, а конкретно под две задачи - парсинг гугла и расставление ссылок. Раньше постоянно приходилось обходить бесплатные списки и выделять от туда прокси. Естественно многие из них были мертвыми, поэтому и появился этот удобный инструмент!

Хотел узнать ваше мнение, готов внести желаемые доработки и начать продавать!

getalifejerk вне форума  
Старый 07.10.2011, 13:53   #12
Rombl4
Ромыч
 
Аватар для Rombl4
 
Регистрация: 16.07.2008
Сообщений: 1,296
Бабло: $154950
По умолчанию

Цитата:
Сообщение от Drunk Monk Посмотреть сообщение
Было бы удобнее запускать на линуксовом серваке
Ну так прога уже под винду написана.


Цитата:
Кстати, я по себе знаю, что было бы наверное удобно если бы программа регулярно сама обновляла некий указанный файл, или можно сделать экспорт в csv а там уже в excel открывать и сортировать, делать выборки. Что думаете?
Лучше сделать экспорт в текстовый файл по конкретно заданным настройкам в программе: страна, пинг и т.д.
Rombl4 вне форума  
Старый 07.10.2011, 13:55   #13
Drunk Monk
Je suis moine ivre
 
Аватар для Drunk Monk
 
Регистрация: 03.03.2009
Сообщений: 15,268
Бабло: $797172957
По умолчанию

Чекать на анонимность еще
Drunk Monk вне форума  
Старый 07.10.2011, 13:58   #14
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
По умолчанию

чек на POST не забывай делать.
а как ты их чекаешь нужно же страницу какую-то брать? как правило её размещают у себя где-то на хостинге с уникальным токеном + скрипт старается вытащить заголовки X-FORWARDED-FOR и т.д.
Цитата:
Ого, что то новенькое! Такого еще никто не делал!
шутишь? )

вообще как правильно заметил уважаемый Драня - линукс сервер лучше. т.к. скорость ДЦ в разы выше - а это лейтмотив всего процесса - сбор листов в гугле и закачка страниц. сам скрипт писать - нехуй делать. Правда ДЦ за это ебут, отслеживают подозрительную долбёжку в порты и пишут абузы (с немецким акцентом) мол ты хуй, чё там мутишь блеать?
а потом ИП ваще лочат пока не перестанешь
__________________
www.imscraping.ninja
grablab.org | blog

Последний раз редактировалось WebNinja; 07.10.2011 в 14:09.
WebNinja вне форума  
Старый 07.10.2011, 15:16   #15
den2099
Senior Member
 
Аватар для den2099
 
Регистрация: 25.06.2011
Сообщений: 1,804
Бабло: $371785
По умолчанию

Цитата:
Сообщение от WebNinja Посмотреть сообщение
Правда ДЦ за это ебут, отслеживают подозрительную долбёжку в порты и пишут абузы (с немецким акцентом) мол ты хуй, чё там мутишь блеать?
а потом ИП ваще лочат пока не перестанешь
ебут за сканирование IP и портов по диапазону на прокси-чекеры всем похуй. ну по крайней мере в нормальных ДЦ.

вопрос ТС: за сколько примерно лям проксей прочекается? хочу сравнить со своим чекером.. у меня на лям уходит где-то 8 часов, т.е. за сутки 2,5 - 3 ляма
den2099 вне форума  
Старый 07.10.2011, 15:56   #16
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
По умолчанию

тип прокси определяется?
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 07.10.2011, 16:02   #17
t0os
сам иди в жопу!
 
Аватар для t0os
 
Регистрация: 02.05.2009
Сообщений: 672
Бабло: $81580
По умолчанию

Нужна проверка на анонимность и на тип прокси (socks 4,5).

И почем планируется продавать?
__________________
t0os вне форума  
Старый 07.10.2011, 16:11   #18
getalifejerk
Ебланнед
 
Регистрация: 14.01.2011
Сообщений: 86
Бабло: $16370
ТС -->
Отправить сообщение для getalifejerk с помощью ICQ Отправить сообщение для getalifejerk с помощью Skype™
автор темы ТС По умолчанию

Цитата:
Сообщение от den2099 Посмотреть сообщение
ебут за сканирование IP и портов по диапазону на прокси-чекеры всем похуй. ну по крайней мере в нормальных ДЦ.

вопрос ТС: за сколько примерно лям проксей прочекается? хочу сравнить со своим чекером.. у меня на лям уходит где-то 8 часов, т.е. за сутки 2,5 - 3 ляма
У меня также, может даже чуть дольше, 50К - 25 минут.
А где ты берешь миллионы прокси? И зачем столько нужно? =)
getalifejerk вне форума  
Старый 07.10.2011, 16:11   #19
getalifejerk
Ебланнед
 
Регистрация: 14.01.2011
Сообщений: 86
Бабло: $16370
ТС -->
Отправить сообщение для getalifejerk с помощью ICQ Отправить сообщение для getalifejerk с помощью Skype™
автор темы ТС По умолчанию

Цитата:
Сообщение от chesser Посмотреть сообщение
тип прокси определяется?
Нет, но добавлю
getalifejerk вне форума  
Старый 07.10.2011, 16:14   #20
getalifejerk
Ебланнед
 
Регистрация: 14.01.2011
Сообщений: 86
Бабло: $16370
ТС -->
Отправить сообщение для getalifejerk с помощью ICQ Отправить сообщение для getalifejerk с помощью Skype™
автор темы ТС По умолчанию

Цитата:
Сообщение от t0os Посмотреть сообщение
Нужна проверка на анонимность и на тип прокси (socks 4,5).

И почем планируется продавать?
Итак, вот что я добавлю: тип прокси, анонимность, можно ли пост запросы делать.
getalifejerk вне форума  
Старый 07.10.2011, 16:22   #21
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
По умолчанию

после проверки на тип скорость просядет в неск. раз, либо возрастет потребляемая память, если в канал не упрется
у меня на одну проксю секунд по 20 уходило в среднем
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума