Просканировать все IP интернета.

[lorien]

Всем привет.

Кто-нить работал по такой задаче: просканить несколько портов всех ip интернета? Интересно, какие узкие места в этой задаче. Допустим я просто хочу один порт всех ip адресов просканить за сутки.

Расчёт в лоб: (256 ** 4)/(3600*24) = 50к запросов в секунду

Я вижу пока такие проблемы:
* настройки linux (tcp-стек, в частности)
* теоритически CPU тоже может забиться
* сетевой канал (я чё-то затрудняюсь оценить трафик пока)
* абузы
* софт для скана (nmap?)

Пожалуйста, пишите ваши мысли, идеи. Палево тем в ЛС тоже приветствуется

[lorien]

Да, я подумал надо взять обычную VPS и включить там скан US IP и посмотреть, как эти абузы вообще выглядят

достаточно функции socket_create(RAW) и отправить SYN

Действительно, зачем юзать готовый nmap или более быстрые аналоги, разработанные специалистами, знающими своё дело. Лучше написать с нуля свой сканер, в котором перебрать все грабли, которые уже встретили и пофиксили в nmap.

в БД INET_ATON засунь

Быстрее файла БД (на последовательную запись) работать вряд ли будет. Если ты про бинарный формат, то ничто не мешает писать бинарные куски фиксированной длинны в файл.

еще советую поднять парочку ханипотов своих...

В смысле? Слушать 80, 3128, 8000,8080 порты и писать логи? А что с ними дальше делать?

[Timon]

Если ты их продавать удумал. то они (т.е. найденые) раньше подохнут чем ты найдёшь покупателя на них.

[dady]

Хз как с абузами, хостеры банят за сканирование сети тоесть и абуз не надо. Абузный надо 100%

[веломан]

Сообщение от lorien

Действительно, зачем юзать готовый nmap или более быстрые аналоги, разработанные специалистами, знающими своё дело. Лучше написать с нуля свой сканер, в котором перебрать все грабли, которые уже встретили и пофиксили в nmap.

тебе надо только проверить, что порт открыт, а не: узнать ОСь, вычислить все порты, узнать что на них висит, проверить на уязвимости, выводить разные форматы, слать разные MTU, спуфить и клоачить... нахуй тебе этот комбайн, у которого список ключей только 3 экрана занимает
тебе придётся запускать бинарник с диска на каждый из миллиардов проверяемых IP, ты это понимаешь? вот это грабли.

Быстрее файла БД (на последовательную запись) работать вряд ли будет. Если ты про бинарный формат, то ничто не мешает писать бинарные куски фиксированной длинны в файл.

откуда тогда у тебя 60гб вылезло, математик?
а выборку делать не вспотеешь потом, если что? по портам например, по странам

[digg]

а следующий топик будет про брут? ))

[Heromant]

Наших пакетов мало, решили весь Интернет сбрутить?

Идея провальная хотя бы на этапе того, что если бы это было возможно, то не кто не поднимал бы ботнеты ценой в много $к и с возможностью попасть на хороший срок, если можно было бы с пары сотен серверов (берем же по максимуму) сканить весь Интернет на открытые порты и получать с этого что-то достойное.

[Matt Cutts]

Сообщение от dady

Хз как с абузами, хостеры банят за сканирование сети тоесть и абуз не надо. Абузный надо 100%

+1. Даже если это школохост "У Васи на балконе" - его на практике за nmap будет банить провайдер. Все, короче банят за сканирование.

lorien, я бисал выше про бнеты, но ты по-моему не понял мою мысль. Суть в том, что те чуваки с bhw - и есть 99,9% владельцы своего ботнета. И именно боты и сканят на порты и на все остальное.

Я уверен, что вряд ли, кто-нибудь снимает 50 впсок на DO или какой-нибудь (вдруг нашелся) супер безабузный сервер для таких целей. Это просто нерентабельно и там софт автоматом тебе заблочит сервер(ы). Потом подтянется админ с чашкой кофе, лениво посмотрит лог и черкнет тебе, что за скан ваш сервер заблочен. На этом бизнес окончен.

[веломан]

Сообщение от Heromant

Наших пакетов мало, решили весь Интернет сбрутить?

Идея провальная хотя бы на этапе того, что если бы это было возможно, то не кто не поднимал бы ботнеты ценой в много $к и с возможностью попасть на хороший срок, если можно было бы с пары сотен серверов (берем же по максимуму) сканить весь Интернет на открытые порты и получать с этого что-то достойное.

ботнеты не для этого поднимают

[lorien]

тебе придётся запускать бинарник с диска на каждый из миллиардов проверяемых IP, ты это понимаешь? вот это грабли.

Нет, бро, я этого решительно не понимаю.

а выборку делать не вспотеешь потом, если что? по портам например, по странам

grep

Идея провальная хотя бы на этапе того, что если бы это было возможно, то не кто не поднимал бы ботнеты ценой в много $к и с возможностью попасть на хороший срок, если можно было бы с пары сотен серверов (берем же по максимуму) сканить весь Интернет на открытые порты и получать с этого что-то достойное.

Я думаю пара сотен серверов не нужна, возможно, хватит одного.

Я уверен, что вряд ли, кто-нибудь снимает 50 впсок на DO или какой-нибудь (вдруг нашелся) супер безабузный сервер для таких целей. Это просто нерентабельно и там софт автоматом тебе заблочит сервер(ы). Потом подтянется админ с чашкой кофе, лениво посмотрит лог и черкнет тебе, что за скан ваш сервер заблочен. На этом бизнес окончен.

Я не совсем понимаю о чём ты гришь, на соответствующих форумах куча предложений, где прямым текстом пишут, что сервера под брут, скан и т.д. Ну, через ботнет, может быть, тоже парсят - почему бы и нет.

Так, я тут взял VPS за 3.5 бакса на ramnode.com и потестил zmap.io сканер. Увы я не прислушался к советам веломана и вместо того, чтобы велосипедить сканер с нуля, я просто поставил zmap и запустил скан 10мильонов ip. На этой VPS процесс занял 10 минут. Скорость была 15Kp/s - впрочем не очень, понимаю, что это такое. Вооот. А потом меня забанили

Hello,

Please see the abuse report below and reply back with your solution at your earliest availability.
__________________________________________________ ______________________________
To: [email protected]
ISP Name: RamNode IP Space
Country: NL

We have blocked someone from your IP space for abuse. Reason: Port Scanning. Log lines are below. Time zone is UTC.

2015-11-28T13:25:25+00:00 swill 1448717124.924244 - - - - - - - - tcp Scan::Address_Scan ***** scanned at least 52 unique hosts on port 8080/tcp in 2m37s remote ***** - 8080 - swill5-4 Notice::ACTION_LOG 3600.000000 F - - - - -

I am writing to inform you so that you can take whatever action is necessary to prevent this user from doing this again.

Please note, replies to this address will not be monitored. If you need more information, please email [email protected].

Thank you,

--
University Information Security Office
Indiana University
https://protect.iu.edu/about/index.html

Ну собсно я это и хотел посмотреть, как абуза такая выглядит. Короче, какой-то protect.iu.edu настучал на меня на абузное мыло моего хостера.

[Hector]

Вопрос правда для чего этот движ?

Heromant, сделайте больше пакетов под регистрации аккаунтов.