Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB63.3028
BTC/USD762.1100
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии

Закрытая тема
Опции темы Опции просмотра
Старый 31.05.2008, 20:29   #1
solar
Senior Member
 
Регистрация: 04.04.2007
Сообщений: 607
Бабло: $7700
По умолчанию как проверить на валидность большую пачку доменов?

привет
есть список из нескольких миллионов доменов.
надо найти все домены, которые уже не существуют (expired,not found).

есть как минимум две проблемы:
1) хуиз сервера банят , особенно быстро банит .org и .jp
может быть есть альтернативные хуизы?

2) разные сервера отвечают в разном формате, парсить сложно.

буду благодарен за советы
ps сейчас использую модуль
Код:
Net::Domain::ExpireDate
на перле.
solar вне форума  
Старый 31.05.2008, 22:04   #2
ykar
Юниор
 
Регистрация: 01.08.2007
Сообщений: 10
Бабло: $1545
По умолчанию

Для начала смотреть по DNS-у, если у домена есть NS-ы значит точно существует. Если нету NS-ов тогда уже нужно уточнять по whois-у, так как домен без NS-ов может существовать (например .com и .net домены, для этого реестра можно вобще убрать неймсервера).
ykar вне форума  
Старый 31.05.2008, 22:56   #3
seocoder
хуйнанэ
 
Аватар для seocoder
 
Регистрация: 03.04.2007
Сообщений: 1,216
Бабло: $94426
Отправить сообщение для seocoder с помощью Skype™
По умолчанию

не факт, днс могет быть, но он не резолвится.
seocoder вне форума  
Старый 31.05.2008, 22:58   #4
Webaz
777
 
Аватар для Webaz
 
Регистрация: 21.09.2007
Сообщений: 1,399
Бабло: $297917
Отправить сообщение для Webaz с помощью ICQ
По умолчанию

если днс есть, то домен уж точно нельзя перекупить
а топикстартеру похоже это и нужно
а резолвится он или нет, это уже отдельный вопрос
Webaz вне форума  
Старый 01.06.2008, 00:01   #5
seocoder
хуйнанэ
 
Аватар для seocoder
 
Регистрация: 03.04.2007
Сообщений: 1,216
Бабло: $94426
Отправить сообщение для seocoder с помощью Skype™
По умолчанию

не верно - если домен не резолвится по имени - как узнать, есть ли у него Dns - без хуиза?!
seocoder вне форума  
Старый 01.06.2008, 00:29   #6
carl0s
Senior Member
 
Аватар для carl0s
 
Регистрация: 23.11.2007
Сообщений: 141
Бабло: $9970
По умолчанию

Цитата:
Сообщение от seocoder Посмотреть сообщение
не верно - если домен не резолвится по имени - как узнать, есть ли у него Dns - без хуиза?!
я тут не особо шарю, но ведь когда ты домен пытаешься резолвить, ты же как раз запрашиваешь его NSы у com,net,org и т.д.
вот и ответ без хуиза
carl0s вне форума  
Старый 01.06.2008, 02:16   #7
seocoder
хуйнанэ
 
Аватар для seocoder
 
Регистрация: 03.04.2007
Сообщений: 1,216
Бабло: $94426
Отправить сообщение для seocoder с помощью Skype™
По умолчанию

еще раз говорю - днс есть на каком то старом хостинге - пытаешься зарезолвить его, но сайт там уже не живет.
Вообщем без хуиза не вижу решения
seocoder вне форума  
Старый 01.06.2008, 10:56   #8
oxenus
Senior Member
 
Регистрация: 03.08.2007
Сообщений: 110
Бабло: $11175
По умолчанию

seocoder , зачем его резолвить?
Резолвить записи типа A,MX нет смысла.
ТС:
Вот пример как я бы сделал.
Для начала выбиваешь НС записи, если существуют.
Если нет - далее уже через хуизы
И только далее можешь сделать через любого регистратора на "проверку, чтобы зарегить"

Вот для ком:
%dig com. -t ns
выбираешь любой из днс-ов
к примеру
com. 50758 IN NS g.gtld-servers.net.

Далее запрос
%dig @g.gtld-servers.net domain.com -t ns

Если есть хоть один
;; ANSWER SECTION:
domain.com. 172800 IN NS ns1.domain.com.

Тогда домен 100% существует, сразу убираешь его из списка для дальнейщих проверок.

если не существует: (пример)


%dig @g.gtld-servers.net domain234r34rf.com -t ns

Тебе возвращается
status: NXDOMAIN,
Я думаю таким способом у тебя уменьшится база на порядок.
Далее хуизы или попытка зарегить через тот же

http://www.networksolutions.com/whoi...main123444.com
Либо врзвращает Whois, либо сразу перекидывает на

Congratulations! The following domains are available
nonregistereddomain123444 .com
oxenus вне форума  
Старый 01.06.2008, 14:32   #9
solar
Senior Member
 
Регистрация: 04.04.2007
Сообщений: 607
Бабло: $7700
ТС -->
автор темы ТС По умолчанию

про НСы это кстати интересно, попробую.
если что-то путное получится, выложу скрипт здесь.
solar вне форума  
Старый 01.06.2008, 18:32   #10
egorych
Senior Member
 
Аватар для egorych
 
Регистрация: 27.08.2007
Сообщений: 488
Бабло: $41512
По умолчанию

Цитата:
Сообщение от solar Посмотреть сообщение
про НСы это кстати интересно, попробую.
если что-то путное получится, выложу скрипт здесь.
было бы круто а то руками надоедает
egorych вне форума  
Закрытая тема



Опции темы
Опции просмотра