Нужно массово чекать whois данные для доменов. - Форум успешных вебмастеров - GoFuckBiz.com - Страница 2
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB90.2486
BTC/USD69437.3336
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 06.04.2013, 22:43
Start Post: Нужно массово чекать whois данные для доменов. 
  #11
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
По умолчанию

Как? Через какие сервисы? Объемы 5-10к доменов в сутки.

я уже написал парсеры для парочки, но там уныние, хотелось бы спокойно купить где-нибудь доступ и дрочить их через API например.
__________________
www.imscraping.ninja
grablab.org | blog
WebNinja вне форума  
Старый 08.04.2013, 03:14   #12
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
По умолчанию

да, экзотику и за ~50 запросов в сутки баннят.
помню выбирал себе домены в nl вроде...не успел выбрать, побанило
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 08.04.2013, 07:14   #13
jarosek
jaros
 
Аватар для jarosek
 
Регистрация: 10.05.2009
Адрес: Киев
Сообщений: 1,498
Бабло: $221845
Отправить сообщение для jarosek с помощью Telegram Отправить сообщение для jarosek с помощью Skype™
По умолчанию

так какие зоны?
jarosek вне форума  
Старый 08.04.2013, 08:07   #14
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
ТС -->
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
автор темы ТС По умолчанию

Цитата:
Сообщение от Drow Посмотреть сообщение
Тру коддер такой тупой вопрос бы не задал. Под 10-15 к доменов в стуки хватит вдс + 16 Ip и немножка тур коддинга. Тут главный вопрос какие зоны, если gtld то всё просто, а если экзотика то может быть сложно или даже невозможно.
ты диванный теоретик, 16 ип ему хватает.


http://www.domaintools.com/api/

вот это походу заебись. $0.0025 * 10000 = 25 бачей за 10к норм. в принципе. я видел канешно, что есть всякие разные платные, интересовался вообщем-то тем, что если кто-то решал подобные задачи, чем пользовался. типа опыт сын ошибок трудных.
зоны разные, в основном мэйнстрим канешно, com и т.д.
__________________
www.imscraping.ninja
grablab.org | blog

Последний раз редактировалось WebNinja; 08.04.2013 в 08:13.
WebNinja вне форума  
Старый 08.04.2013, 13:27   #15
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
ТС -->
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
автор темы ТС По умолчанию

пока то-се добавил 2а фри сервиса в ротацию, 20 ИП но все равно никакими десятками тысяч к там и не пахнет.
__________________
www.imscraping.ninja
grablab.org | blog
WebNinja вне форума  
Старый 08.04.2013, 16:40   #16
dobra
Member
 
Регистрация: 08.08.2011
Сообщений: 36
Бабло: $16135
По умолчанию

Мы сейчас делаем API для Whois-ов разных зон наподобие того, что есть у Domaintools. Будет готово через 2 недели примерно. Заключили контракты с регистраторами некоторых зон и продолжим развиваться в этом направлении

Правда у Domaintools, как и у многих других подобных сервисов есть один значительный минус - данные они отдают в разных форматах, т.к. сами их парсят из различных источников. К тому же многие доменные зоны не отдают полных данных, а некоторые зоны вообще никаких данных не отдают

P.S. С 16 ip конечно нечего и делать в парсинге большого количества хуизов
__________________
sandy кидала
dobra вне форума  
Старый 08.04.2013, 17:18   #17
Drow
Senior Member
 
Регистрация: 21.03.2008
Сообщений: 690
Бабло: $128400
По умолчанию

Цитата:
Сообщение от WebNinja Посмотреть сообщение
ты диванный теоретик, 16 ип ему хватает.
Я дивный практик, мне 256 IP хватало чтобы со 100к дропов в стуки вхоис снимать. Впрочем если тру коддер хочет платить, почему нет, быть тру пай коддером нынче модно.
И хватит писать про разный формат выдачи whois, тру коддер должен знать рэгэспы.
Drow вне форума  
Старый 08.04.2013, 20:16   #18
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
ТС -->
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
автор темы ТС По умолчанию

Цитата:
Сообщение от dobra Посмотреть сообщение
Правда у Domaintools, как и у многих других подобных сервисов есть один значительный минус - данные они отдают в разных форматах, т.к. сами их парсят из различных источников. К тому же многие доменные зоны не отдают полных данных, а некоторые зоны вообще никаких данных не отдают

P.S. С 16 ip конечно нечего и делать в парсинге большого количества хуизов
шаришь, я тоже с этим столкнулся, не такая уж и большая проблема но мне нужно чтобы было как можно меньше ошибок, я уже запарился парсить разные форматы, получается свинский код + заметил что там не всегда актуалная информация, а мне нужна актуальная.

с 16 да, щаз с 1000 пробую.

Drow, ну крут, чо, ты даже не знаешь что мне нужно и какие задачи я решаю, зато лезешь со своими пальцами. мне не нужны даты (экспайред и т.д.) которые можно легко регулярками снять.
__________________
www.imscraping.ninja
grablab.org | blog
WebNinja вне форума