как проверить на валидность большую пачку доменов?

[solar]

привет
есть список из нескольких миллионов доменов.
надо найти все домены, которые уже не существуют (expired,not found).

есть как минимум две проблемы:
1) хуиз сервера банят , особенно быстро банит .org и .jp
может быть есть альтернативные хуизы?

2) разные сервера отвечают в разном формате, парсить сложно.

буду благодарен за советы
ps сейчас использую модуль

Net::Domain::ExpireDate

на перле.

[solar]

reality,
есть маленькая трабла в асю тебе написал

loaded so far 1089000 domains
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at java.util.AbstractList.subList(AbstractList.java:570)
	at java.util.regex.Pattern.split(Pattern.java:1018)
	at java.lang.String.split(String.java:2103)
	at java.lang.String.split(String.java:2145)
	at gofuckbiz.DnsChecker.startup(DnsChecker.java:99)
	at gofuckbiz.DnsChecker.main(DnsChecker.java:200)

[reality]

ну да... забыл добавить, что все домены грузятся в память в начале работы щас попробую переделать

Upd: Вроде должно работать верно, даже по скорости быстрее чем первая версия но все равно миллион доменов будет проверяться очень приличное время, когда надоесть надо жать Enter иначе могут потеряться некоторые результаты. После этого вылетит куча ошибок, но это так и задумано

Сообщение от solar

reality,
есть маленькая трабла в асю тебе написал

loaded So Far 1089000 Domains
Exception In Thread "main" Java.lang.outofmemoryerror: Java Heap Space
	At Java.util.abstractlist.sublist(abstractlist.java:570)
	At Java.util.regex.pattern.split(pattern.java:1018)
	At Java.lang.string.split(string.java:2103)
	At Java.lang.string.split(string.java:2145)
	At Gofuckbiz.dnschecker.startup(dnschecker.java:99)
	At Gofuckbiz.dnschecker.main(dnschecker.java:200)

[solar]

Сообщение от reality

ну да... забыл добавить, что все домены грузятся в память в начале работы щас попробую переделать

Upd: Вроде должно работать верно, даже по скорости быстрее чем первая версия но все равно миллион доменов будет проверяться очень приличное время, когда надоесть надо жать Enter иначе могут потеряться некоторые результаты. После этого вылетит куча ошибок, но это так и задумано

та не, я сам пишу на яве, уже сделал небольшой фикс для зон, запустил в 300 потоков, все в общем работает но в итоге опять свалилось с этим эксепшеном. При этом процесс память не ест сильно, все в пределах нормы.

у меня есть на питоне скриптец, который подобным занимается, но он просто домены ресолвит. в 300 потоков работает нормально, надо его попробовать переделать для ресолвинга НС и тогда сравнить что будет стабильнее работать..

Кстати, я советую ставить свой локальный named чтобы запросы к нему шли все, а не к провайдерскому.

ps а все не отвечаешь

[reality]

аську ихз профиля у меня давно сперли вот новая 497202306

[reality]

судя по стектрейсу оно валится при загрузке доменов в память, почему фиг его знает, но в последней версии прога читает из файла по мере необходимости, так что все должно быть нормально

+ в первой версии из за синхронизации кучя локов ненужных возникает, в новой вроде поправлено, должно шустврее работать.

просто у меня есть ощущения, что на большом количестве потоков, внутри само либы org.xbill.dns возникают какие то косяки, и на заведомо рабочих доменах ошибки с NS вылезают

[solar]

вроде бы жжот, 300 потоков, вот скрин


зы
вот патерн для проверки тлд:

	private Pattern retld = Pattern.compile(".*(\\.or\\.jp|\\.ac\\.cr|\\.ac\\.cy|\\.ac\\.fj|\\.ac\\.gg|\\.ac\\.im|\\.ac\\.je|\\.ac\\.pa|\\.ac\\.ug|\\.ac\\.yu|\\.ad\\.jp|\\.alderney\\.gg|\\.art\\.do|\\.arts\\.co|\\.arts\\.ve|\\.asn\\.lv|\\.bib\\.ve|\\.co\\.ck|\\.co\\.cr|\\.co\\.gg|\\.co\\.hu|\\.co\\.im|\\.co\\.je|\\.co\\.sv|\\.co\\.ug|\\.co\\.ve|\\.co\\.vi|\\.co\\.yu|\\.com\\.ac|\\.com\\.ae|\\.com\\.ar|\\.com\\.az|\\.com\\.bb|\\.com\\.bm|\\.com\\.bs|\\.com\\.co|\\.com\\.cu|\\.com\\.cy|\\.com\\.do|\\.com\\.eg|\\.com\\.fj|\\.com\\.ge|\\.com\\.gu|\\.com\\.jo|\\.com\\.kh|\\.com\\.la|\\.com\\.lb|\\.com\\.lc|\\.com\\.lv|\\.com\\.ly|\\.com\\.mo|\\.com\\.mt|\\.com\\.my|\\.com\\.na|\\.com\\.nc|\\.com\\.ni|\\.com\\.np|\\.com\\.pa|\\.com\\.pe|\\.com\\.ph|\\.com\\.py|\\.com\\.sh|\\.com\\.sy|\\.com\\.tn|\\.com\\.ua|\\.com\\.uy|\\.com\\.ve|\\.conf\\.au|\\.conf\\.lv|\\.cri\\.nz|\\.csiro\\.au|\\.ed\\.cr|\\.edu\\.ac|\\.edu\\.bm|\\.edu\\.co|\\.edu\\.do|\\.edu\\.ec|\\.edu\\.eg|\\.edu\\.ge|\\.edu\\.gu|\\.edu\\.jo|\\.edu\\.lc|\\.edu\\.lv|\\.edu\\.mo|\\.edu\\.my|\\.edu\\.pa|\\.edu\\.py|\\.edu\\.sg|\\.edu\\.sh|\\.edu\\.tw|\\.edu\\.uy|\\.edu\\.ve|\\.edu\\.yu|\\.edunet\\.tn|\\.ens\\.tn)");