как проверить на валидность большую пачку доменов?

[solar]

привет
есть список из нескольких миллионов доменов.
надо найти все домены, которые уже не существуют (expired,not found).

есть как минимум две проблемы:
1) хуиз сервера банят , особенно быстро банит .org и .jp
может быть есть альтернативные хуизы?

2) разные сервера отвечают в разном формате, парсить сложно.

буду благодарен за советы
ps сейчас использую модуль

Net::Domain::ExpireDate

на перле.

[ykar]

Для начала смотреть по DNS-у, если у домена есть NS-ы значит точно существует. Если нету NS-ов тогда уже нужно уточнять по whois-у, так как домен без NS-ов может существовать (например .com и .net домены, для этого реестра можно вобще убрать неймсервера).

[seocoder]

не факт, днс могет быть, но он не резолвится.

[Webaz]

если днс есть, то домен уж точно нельзя перекупить
а топикстартеру похоже это и нужно
а резолвится он или нет, это уже отдельный вопрос

[seocoder]

не верно - если домен не резолвится по имени - как узнать, есть ли у него Dns - без хуиза?!

[carl0s]

Сообщение от seocoder

не верно - если домен не резолвится по имени - как узнать, есть ли у него Dns - без хуиза?!

я тут не особо шарю, но ведь когда ты домен пытаешься резолвить, ты же как раз запрашиваешь его NSы у com,net,org и т.д.
вот и ответ без хуиза

[seocoder]

еще раз говорю - днс есть на каком то старом хостинге - пытаешься зарезолвить его, но сайт там уже не живет.
Вообщем без хуиза не вижу решения

[oxenus]

seocoder , зачем его резолвить?
Резолвить записи типа A,MX нет смысла.
ТС:
Вот пример как я бы сделал.
Для начала выбиваешь НС записи, если существуют.
Если нет - далее уже через хуизы
И только далее можешь сделать через любого регистратора на "проверку, чтобы зарегить"

Вот для ком:
%dig com. -t ns
выбираешь любой из днс-ов
к примеру
com. 50758 IN NS g.gtld-servers.net.

Далее запрос
%dig @g.gtld-servers.net domain.com -t ns

Если есть хоть один
;; ANSWER SECTION:
domain.com. 172800 IN NS ns1.domain.com.

Тогда домен 100% существует, сразу убираешь его из списка для дальнейщих проверок.

если не существует: (пример)


%dig @g.gtld-servers.net domain234r34rf.com -t ns

Тебе возвращается
status: NXDOMAIN,
Я думаю таким способом у тебя уменьшится база на порядок.
Далее хуизы или попытка зарегить через тот же

http://www.networksolutions.com/whoi...main123444.com
Либо врзвращает Whois, либо сразу перекидывает на

Congratulations! The following domains are available
nonregistereddomain123444 .com

[solar]

про НСы это кстати интересно, попробую.
если что-то путное получится, выложу скрипт здесь.

[egorych]

Сообщение от solar

про НСы это кстати интересно, попробую.
если что-то путное получится, выложу скрипт здесь.

было бы круто а то руками надоедает