|
|
| | Дата |
|
| USD/RUB | 90.1887 | | BTC/USD | 67090.3831 |
|
|
|
| Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии. |
28.11.2015, 06:44
|
Start Post: Просканировать все IP интернета. 
|
|
Senior Member
Регистрация: 18.05.2009
Сообщений: 928
Бабло: $196595
|
Всем привет.
Кто-нить работал по такой задаче: просканить несколько портов всех ip интернета? Интересно, какие узкие места в этой задаче. Допустим я просто хочу один порт всех ip адресов просканить за сутки.
Расчёт в лоб: (256 ** 4)/(3600*24) = 50к запросов в секунду
Я вижу пока такие проблемы:
* настройки linux (tcp-стек, в частности)
* теоритически CPU тоже может забиться
* сетевой канал (я чё-то затрудняюсь оценить трафик пока)
* абузы
* софт для скана (nmap?)
Пожалуйста, пишите ваши мысли, идеи. Палево тем в ЛС тоже приветствуется 
__________________
TgScan - узнай Telegram группы, в которых состоит человек
Последний раз редактировалось lorien; 28.11.2015 в 06:50.
|
|
|
|
28.11.2015, 12:23
|
#12
|
|
hustle
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
|
Может как-то сделать выборку по меньше? Зачем лупить все подряд.
Proxy Hunter - есть такая софтина под винду.
|
|
|
|
|
28.11.2015, 12:31
|
#13
|
|
Senior Member
Регистрация: 27.09.2013
Сообщений: 697
Бабло: $101520
|
Можно задачу упростить, если выкинуть диапазоны adsl и прочих домашних сетей.
Чтобы сэкономить траф, можно проверять yandex.ru/robots.txt запросом HEAD. Или взять url, который заведомо редиректит, и смотреть на редирект, не запрашивая данные.
Вместо 50000 коннектов с сервера можно взять 50 впс с DO например и довести до 1000 коннектов в секунду, даже меньше, если выкинуть заведомо домашние диапазоны. Будет стоить 250 в месяц. Короче поиграться с несколькими серверами.
Софт можно написать самому, там дел на полдня. Или дописать какой-то свободный, тот же siege например, чтобы складывал данные в нужном тебе формате и проверял то что тебе нужно.
Абузы будут, но если будешь сканить только 2 порта, их будет мало.
|
|
|
|
|
28.11.2015, 12:31
|
#14
|
|
Senior Member
Регистрация: 18.05.2009
Сообщений: 928
Бабло: $196595
-->
|
ТС
Конечно, чем меньше выборка диапазонов для скана, тем лучше. Осталось понять, как её сузить
На самом деле можно ещё плясать от страны. Например, я хочу только US прокси. Беру maxmind базу, выбираю оттуда US диапазоны и сканирую только их.
Цитата:
|
Вместо 50000 коннектов с сервера можно взять 50 впс с DO например и довести до 1000 коннектов в секунду, даже меньше, если выкинуть заведомо домашние диапазоны. Будет стоить 250 в месяц. Короче поиграться с несколькими серверами.
|
Если можно с одного сервера (если), то нет смысла париться с кучей VPS. Мне всё же больше нравится вариант какого-нить безабузного сервера.
Создатели этой софтины zmap.io пишут
Цитата:
|
ZMap is an open-source network scanner that enables researchers to easily perform Internet-wide network studies. With a single machine and a well provisioned network uplink, ZMap is capable of performing a complete scan of the IPv4 address space in under 5 minutes, approaching the theoretical limit of ten gigabit Ethernet.
|
5минут на 10гбит, т.е. получается 50 минут на гбите
__________________
TgScan - узнай Telegram группы, в которых состоит человек
Последний раз редактировалось lorien; 28.11.2015 в 12:38.
|
|
|
|
|
28.11.2015, 13:18
|
#15
|
|
Юниор
Регистрация: 18.05.2015
Сообщений: 17
Бабло: $4390
|
MASSCAN: СКАНИРОВАНИЕ ДИАПАЗОНА IPV4 ЗА ШЕСТЬ МИНУТ
https://xakep.ru/2013/09/16/61262/
прочти 
Последний раз редактировалось ubunta; 28.11.2015 в 13:19.
Причина: редактирования
|
|
|
|
|
28.11.2015, 13:20
|
#16
|
|
Senior Member
Регистрация: 18.05.2009
Сообщений: 928
Бабло: $196595
-->
|
ТС
Спасибо, гляну masscan.
__________________
TgScan - узнай Telegram группы, в которых состоит человек
|
|
|
|
|
28.11.2015, 13:55
|
#17
|
|
Senior Member
Регистрация: 19.04.2008
Сообщений: 269
Бабло: $44680
|
|
|
|
|
|
28.11.2015, 14:05
|
#18
|
|
Senior Member
Регистрация: 18.05.2009
Сообщений: 928
Бабло: $196595
-->
|
ТС
Ну не так уж и много. Например, скан 8080 порта.
IP адресов 4 ярда (округлил). Представим, что на всех будет открыт 8080 порт. Итого на диске получится файлик размером 4 ярда (gb) * 15 байт (длина ip адреса) = 60gb
Ничего страшного
P.S Ну ещё накинем 4гб на "\n" символы 
__________________
TgScan - узнай Telegram группы, в которых состоит человек
|
|
|
|
|
28.11.2015, 14:35
|
#19
|
|
Senior Member
Регистрация: 21.03.2008
Сообщений: 690
Бабло: $128400
|
То все домены прочекить, то весь интернет просканировать. GFB несет явную угрозу инфраструктуре интернета.  |
|
|
|
|
28.11.2015, 14:38
|
#20
|
|
сыроед
Регистрация: 01.10.2015
Сообщений: 15,875
Бабло: $1862675
|
Цитата:
Сообщение от ubunta
|
Цитата:
|
Если так пойдет и дальше, то через несколько лет, когда 10-гигабитные каналы станут более обычным делом, чуть ли не каждый школьник сможет просканировать интернет со своего домашнего ПК.
|
удачи ему там, в сканировании ip6
Цитата:
Сообщение от lorien
* софт для скана (nmap?)
|
достаточно функции socket_create(RAW) и отправить SYN
Цитата:
Сообщение от lorien
Ну не так уж и много. Например, скан 8080 порта.
IP адресов 4 ярда (округлил). Представим, что на всех будет открыт 8080 порт. Итого на диске получится файлик размером 4 ярда (gb) * 15 байт (длина ip адреса) = 60gb
Ничего страшного
P.S Ну ещё накинем 4гб на "\n" символы |
в БД INET_ATON засунь |
|
|
|
Линейный вид
