как проверить на валидность большую пачку доменов?

[solar]

привет
есть список из нескольких миллионов доменов.
надо найти все домены, которые уже не существуют (expired,not found).

есть как минимум две проблемы:
1) хуиз сервера банят , особенно быстро банит .org и .jp
может быть есть альтернативные хуизы?

2) разные сервера отвечают в разном формате, парсить сложно.

буду благодарен за советы
ps сейчас использую модуль

Net::Domain::ExpireDate

на перле.

[reality]

Сообщение от solar

про НСы это кстати интересно, попробую.
если что-то путное получится, выложу скрипт здесь.

Получилось что либо путное? Domain Checker валится при добавлении уже 30к доменов, причем где то в районе 1-2к

[solar]

Сообщение от reality

Получилось что либо путное? Domain Checker валится при добавлении уже 30к доменов, причем где то в районе 1-2к

если честно не занимался еще это проблемой
но вообще решение я думаю рабочее, дело за реализацией, ДНС сервера обычно не банят и нагрузка там небольшая, можно очень быстро проверить.

с domain checker не работал, но здесь мне кажется визуальный интерфейс не нужен совершенно.

[reality]

Ну ты бездельник Пойду попробую сам тогда написать проверку Ns'ов

[reality]

Вобщем написал я чекер NS'ов. Из 20к прочеканных доменов, у 700 произошла ошибка с определением NS-ов, некоторые по таймауту вывалились, а реально домен рабочий, некоторые еще по каким то причинам. Сейчас точно не знаю по чему, но еще покопаюсь, может поправлю. Но тем не менее количество доменов, которые надо проверить существенно уменьшилось, и теперь я их уже буду чекать с помощтю Domain Checker'a

DnsChecker.zip, надо запускать start.bat, в файле input.txt список доменов которые надо проверить, в output.txt будут домены у которых были проблемы с Ns-ами. Главное не забыть нажать ENTER в конце работы, а то результаты не сохранятся
Редактируя start.bat можно задать количество потоков через параметр '-threads'.

P.S. Написано на java, исходники прилагаются.

[solar]

Сообщение от reality

P.S. Написано на java, исходники прилагаются.

зачот!

небольшой глюк тока кажется с доменами в зонах org.uk, co.jp и подобными. программа их режет смысловую часть в них

[reality]

Есть проверка на co.uk, на остальное не делал, так как не нашел какие они вообще бывают Надо будет добавить.

P.S. В итоге после чека Domain Checker'ом нашел 15 проэкспайреных доменов, щас буду пробовать их регать.

[reality]

Есть домен Expiration Date: 03-jul-2008, но зарегать его никак. Ни разу экспайреные не покупал, сколько он еще будет в таком подвешенном состоянии?

[solar]

30 дней кажется в состоянии expired и потом еще сколько то в renewal hold, если не ошибаюсь

[egorych]

Сообщение от solar

30 дней кажется в состоянии expired и потом еще сколько то в renewal hold, если не ошибаюсь

30 expired и 30 в холде по наблюдениям

[reality]

Expiration Date: 04-jun-2008 - все равно пока не доступен.