Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.9960
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 28.11.2015, 06:44   #1
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
Отправить сообщение для lorien с помощью Skype™
По умолчанию Просканировать все IP интернета.

Всем привет.

Кто-нить работал по такой задаче: просканить несколько портов всех ip интернета? Интересно, какие узкие места в этой задаче. Допустим я просто хочу один порт всех ip адресов просканить за сутки.

Расчёт в лоб: (256 ** 4)/(3600*24) = 50к запросов в секунду

Я вижу пока такие проблемы:
* настройки linux (tcp-стек, в частности)
* теоритически CPU тоже может забиться
* сетевой канал (я чё-то затрудняюсь оценить трафик пока)
* абузы
* софт для скана (nmap?)

Пожалуйста, пишите ваши мысли, идеи. Палево тем в ЛС тоже приветствуется

Последний раз редактировалось lorien; 28.11.2015 в 06:50.
lorien вне форума  
Старый 28.11.2015, 07:23   #2
Strikelol
Senior Member
 
Регистрация: 31.03.2011
Сообщений: 3,056
Бабло: $632595
По умолчанию

по идее когда будешь ханипоты ловить часть результатов может быть неверными, если не учитывать этот момент
Strikelol вне форума  
Старый 28.11.2015, 08:30   #3
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

Хочу прокси искать. Т.е. найти, например, открытые 8080 порты и далее запросить через них yandex.ru/robots.txt - если получу нужный результат, значит прокся работает. Ну и ханипоты отсеятся автоматически (что бы там ханипот не значило).

А что за ханипоты, в чём их опасность?
lorien вне форума  
Старый 28.11.2015, 08:43   #4
Strikelol
Senior Member
 
Регистрация: 31.03.2011
Сообщений: 3,056
Бабло: $632595
По умолчанию

honeypot, ну на эту задачу не повлияют особо.
Strikelol вне форума  
Старый 28.11.2015, 08:57   #5
Nebrila
Ебланнед
 
Регистрация: 03.07.2015
Сообщений: 527
Бабло: $96655
По умолчанию

прокси не только на таких портах висят )
многие нормальные прокси ритейлеры вешают прокси на разные порты

также можно уменьшить количество скана убрав домашние сети мобильные и тп

также можно уменьшить количество скана убрав домашние сети мобильные и тп
Nebrila вне форума  
Старый 28.11.2015, 09:27   #6
xanxy
Senior Member
 
Регистрация: 18.08.2010
Сообщений: 361
Бабло: $66100
По умолчанию

Паблик прокси сканить будет не рентабельно. При нормальном скане абузить будут не хило. Минимальная цена за сервер под такую задачу где то 500$. Проще будет купить прокси за эти 500$
xanxy вне форума  
Старый 28.11.2015, 10:36   #7
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

Таки рентабельность определяется не только ценой проксей, но и тем, сколько денег я заработаю на них Ну и как вариант всегда можно продавать такие прокси, но меня щас в первую очередь интересует их использование для своих целей.

Подскажите сервер, где такой сканер развернуть можно? Ну и канал желательно побольше 100мбит.

Цитата:
прокси не только на таких портах висят )
многие нормальные прокси ритейлеры вешают прокси на разные порты
Что за прокси ритейлеры? Я хочу искать прокси, которые торчат наружу по недосмотру сисадмина. Большая вероятность, что такие прокси будут на дефолтном порту висеть, какой-нить там 3128 или 8080.

Мне тут насоветовали софтину: https://zmap.io/
lorien вне форума  
Старый 28.11.2015, 10:58   #8
Matt Cutts
Senior Member
 
Регистрация: 24.09.2009
Сообщений: 722
Бабло: $93360
Отправить сообщение для Matt Cutts с помощью Skype™
По умолчанию

То есть ты хочешь:
1. взять сервер с гигабитом
2. запустить там сканнер типа nmap
3. найти прокси и открыть сервис по продаже таких проксей

Всё так?

Такие прокси будут быстро дохнуть. Поэтому услуга изначально направлена на провал, как мне кажется. Это и есть фри-прокси.

More

Последний раз редактировалось Matt Cutts; 28.11.2015 в 11:04.
Matt Cutts на форуме  
Старый 28.11.2015, 11:35   #9
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

Цитата:
То есть ты хочешь:
1. взять сервер с гигабитом
2. запустить там сканнер типа nmap
3. найти прокси и открыть сервис по продаже таких проксей

Всё так?

Такие прокси будут быстро дохнуть. Поэтому услуга изначально направлена на провал, как мне кажется. Это и есть фри-прокси.
ОК. На BHW есть топик с такой услугой и у ребят всё хорошо. Я в том числе доступ купил у них. Правда пока не понял, смогу ли пользоваться ей, они вываливают два раза в день список проксей по 15к и они все дохнут за несколько часов, но в течении этих несколько часов можно успеть много чего сделать, теоритически. Вот сегодня буду тестить.

Цитата:
Просто прокси-рынок работает иначе:
Какой именно рынок прокси?

* Есть ботнеты
* Есть платные серверные прокси

А то что ты описал, блоги с фри-проксями, это не рынок, это хуйня какая-то, пардон

Цитата:
Core™2 Duo CPU 3.00GHz
RAM 4GB
hdd 500
1 ip adress
Нашёл такое за $150 и гбитом. Грят буду игнорить абузы. Ну ещё ценник $300 другие грили. Я только начал исследование хостеров. Ну точно не 500, о которых выше речь шла
lorien вне форума  
Старый 28.11.2015, 12:00   #10
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

Цитата:
Затем их находят другие программы/боты и через те, что остались в живых начинают парсить google или что-то ещё.
Те прокси, что в паблик выкладывают на free proxy сайты, вряд ли через них гугл можно парсить. И мне они точно не нужны. Весь интернет мне нужно просканить именно для того, чтобы найти прокси, которые в блоги никто не выкладывал
lorien вне форума  
Закрытая тема



Опции темы
Опции просмотра