Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7570
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 17.07.2010, 14:33   #1
seocoder
хуйнанэ
 
Аватар для seocoder
 
Регистрация: 03.04.2007
Сообщений: 1,257
Бабло: $107486
Отправить сообщение для seocoder с помощью Skype™
По умолчанию Массовая проверка whois

Надо чекнуть около 3х миллионов доменов на хуиз данные. Есть идеи где спарсить это все можно, хотя бы за 4-5 дней?!
seocoder вне форума  
Старый 17.07.2010, 17:12   #2
kavopero
Senior Member
 
Аватар для kavopero
 
Регистрация: 27.10.2008
Сообщений: 759
Бабло: $94811
Отправить сообщение для kavopero с помощью ICQ
По умолчанию

возьми какой нибудь сервис или несколько и распарсь их
kavopero вне форума  
Старый 17.07.2010, 17:31   #3
seocoder
хуйнанэ
 
Аватар для seocoder
 
Регистрация: 03.04.2007
Сообщений: 1,257
Бабло: $107486
ТС -->
Отправить сообщение для seocoder с помощью Skype™
автор темы ТС По умолчанию

получается 100 прокси нормальных и суток достаточно
30 запросов в минуту можно с одного ипа.
seocoder вне форума  
Старый 17.07.2010, 17:35   #4
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

Цитата:
Сообщение от seocoder Посмотреть сообщение
30 запросов в минуту можно с одного ипа.
ну это еще смотря какая зона
мне надо было nl почекать, так там 15 запросов в daily
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 19.07.2010, 18:27   #5
alex_zp
Member
 
Аватар для alex_zp
 
Регистрация: 10.06.2010
Сообщений: 57
Бабло: $14680
Отправить сообщение для alex_zp с помощью ICQ Отправить сообщение для alex_zp с помощью Skype™
По умолчанию

как вам такой вариант - запускаем скрипт проверяющий whois с использованием проксей и соксов,несколько копий скрипта.А написать такой скрипт я могу
alex_zp вне форума  
Старый 19.07.2010, 18:34   #6
alex_zp
Member
 
Аватар для alex_zp
 
Регистрация: 10.06.2010
Сообщений: 57
Бабло: $14680
Отправить сообщение для alex_zp с помощью ICQ Отправить сообщение для alex_zp с помощью Skype™
По умолчанию

у меня есть парсер,но он сохраняет данные в массив.Вам в каком формате нада чтобы были ?
alex_zp вне форума  
Старый 19.07.2010, 19:42   #7
seocoder
хуйнанэ
 
Аватар для seocoder
 
Регистрация: 03.04.2007
Сообщений: 1,257
Бабло: $107486
ТС -->
Отправить сообщение для seocoder с помощью Skype™
автор темы ТС По умолчанию

seocoder вне форума  
Старый 19.07.2010, 20:52   #8
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

Цитата:
Сообщение от alex_zp Посмотреть сообщение
как вам такой вариант - запускаем скрипт проверяющий whois с использованием проксей и соксов,несколько копий скрипта.А написать такой скрипт я могу
если это обращено ко мне - то у меня нет проблем с программированием и парсингом, я просто привел пример, что задержка зависет от зоны.
+ мне кажется топик для ТС уже не актуален
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 20.07.2010, 10:08   #9
zlaya ssuka
ChefJavaProgrammierer
 
Аватар для zlaya ssuka
 
Регистрация: 05.04.2007
Сообщений: 1,166
Бабло: $15090
Отправить сообщение для zlaya ssuka с помощью ICQ
По умолчанию

а почему просто whois domain.com в комманд лайне использовать?
тестанул - один домен в среднем порядка 0.5 секунды тестится - запустить 10 скриптов - за два дня прочекается все.

лучше скажите, как смотреть какие домены на айпи висят кроме реверс лукапа?
zlaya ssuka вне форума  
Старый 20.07.2010, 11:08   #10
seocoder
хуйнанэ
 
Аватар для seocoder
 
Регистрация: 03.04.2007
Сообщений: 1,257
Бабло: $107486
ТС -->
Отправить сообщение для seocoder с помощью Skype™
автор темы ТС По умолчанию

даже на 43 порт как и на командную строку есть ограничения на запросы в минуту.
seocoder вне форума  
Закрытая тема



Опции темы
Опции просмотра