Отлов DMCA ботов, как? - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB90.7493
BTC/USD70722.4707
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 09.06.2015, 15:55   #1
qvent
Сеньйор Помидор
 
Аватар для qvent
 
Регистрация: 28.08.2007
Сообщений: 2,008
Бабло: $420695
Отправить сообщение для qvent с помощью ICQ
По умолчанию Отлов DMCA ботов, как?

По каким признакам их вылавливать? И что им отдавать? 404? Буду очень благодарен если кто нить признаками\ипами поделится.
__________________
Я- МОЙВА!!!
qvent вне форума  
Старый 09.06.2015, 15:59   #2
Hector
hustle
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
Отправить сообщение для Hector с помощью Jabber
По умолчанию

По логам смотри и бань. Некоторые даюе юзерагенты подставляют свои фирменные.
Признаки: UA, IP, IP RANGE, REFERER
Отдавать что хочешь, можно и 403.
NGINX удобно для этого.
Hector вне форума  
Старый 09.06.2015, 16:03   #3
qvent
Сеньйор Помидор
 
Аватар для qvent
 
Регистрация: 28.08.2007
Сообщений: 2,008
Бабло: $420695
ТС -->
Отправить сообщение для qvent с помощью ICQ
автор темы ТС По умолчанию

Цитата:
Сообщение от Hector Посмотреть сообщение
По логам смотри и бань. Некоторые даюе юзерагенты подставляют свои фирменные.
Признаки: UA, IP, IP RANGE, REFERER
Отдавать что хочешь, можно и 403.
NGINX удобно для этого.
Кэп?
__________________
Я- МОЙВА!!!
qvent вне форума  
Старый 09.06.2015, 16:14   #4
Hector
hustle
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
Отправить сообщение для Hector с помощью Jabber
По умолчанию

Offtopic
У каждого свои признаки, не понятно что ли? Абузеры тоже разные в зависимости от ниши. Врубай логи и смотри своих ботов за тебя этого никто делать не будет.
Hector вне форума  
Старый 09.06.2015, 16:23   #5
xealey
Senior Member
 
Аватар для xealey
 
Регистрация: 04.09.2007
Сообщений: 1,267
Бабло: $254000
По умолчанию

очень помогает снизить объем именно автоматических DMCA абуз бан амазоновских подсеток
еще есть эти гомосеки
More
ну и гектор на удивление дело говорит, анализируй логи, я раз в неделю вычищаю новые подсетки, которые парсят больше N страниц.
__________________
Апарсер охрененен
xealey вне форума  
Старый 09.06.2015, 16:56   #6
qvent
Сеньйор Помидор
 
Аватар для qvent
 
Регистрация: 28.08.2007
Сообщений: 2,008
Бабло: $420695
ТС -->
Отправить сообщение для qvent с помощью ICQ
автор темы ТС По умолчанию

Цитата:
Сообщение от xealey Посмотреть сообщение
очень помогает снизить объем именно автоматических DMCA абуз бан амазоновских подсеток
еще есть эти гомосеки
More
ну и гектор на удивление дело говорит, анализируй логи, я раз в неделю вычищаю новые подсетки, которые парсят больше N страниц.
гектор на вопрос "как отлавливать" ответил "отлавливай"
А вот твой совет - очень в тему, особенно по поводу парсинга, спс за идею
Думаю в принципе к амазону можно еще и хетцнер добавить
__________________
Я- МОЙВА!!!
qvent вне форума  
Старый 09.06.2015, 16:58   #7
Hector
hustle
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
Отправить сообщение для Hector с помощью Jabber
По умолчанию

Цитата:
Сообщение от xealey
ну и гектор на удивление дело говорит, анализируй логи, я раз в неделю вычищаю новые подсетки, которые парсят больше N страниц.
Какое удивление? )))) Мы с админом один разок ботов почистили таких, так нагрузка упала раз в 50. Бан еще правда на уровне iptables использован. Да и сам регулярно вношу в блек листы. Много реально с c амазона идут и с других хостинг провайдеров типа хецнера.

Цитата:
Сообщение от qvent
гектор на вопрос "как отлавливать" ответил "отлавливай"
В упор не вижу слова КАК.
Мы берем открываем абузу, смотрим какой урл, ищем по логам кто дергал этот урл и добавляем в БАНЮ. Вот и все. Иногда и подсеть в баню, зависит насколько мы уверены что это бот)

На вопрос КАК ищи тему chesser-a там про ботов написано.

Последний раз редактировалось Hector; 09.06.2015 в 17:03.
Hector вне форума  
Старый 09.06.2015, 17:14   #8
qvent
Сеньйор Помидор
 
Аватар для qvent
 
Регистрация: 28.08.2007
Сообщений: 2,008
Бабло: $420695
ТС -->
Отправить сообщение для qvent с помощью ICQ
автор темы ТС По умолчанию

Уже читаю, теперь осталось придумать как это на апач надеть )
__________________
Я- МОЙВА!!!
qvent вне форума  
Старый 09.06.2015, 18:59   #9
Shadrin
.
 
Регистрация: 06.12.2009
Сообщений: 70
Бабло: $19540
По умолчанию

подскажите ipset-ом нормально будет если забанить 2,5к диапов?
Shadrin вне форума  
Старый 09.06.2015, 22:13   #10
мурз
Ебланнед
 
Регистрация: 30.04.2015
Сообщений: 385
Бабло: $60115
По умолчанию

Цитата:
Сообщение от Shadrin Посмотреть сообщение
подскажите ipset-ом нормально будет если забанить 2,5к диапов?
http://ipset.netfilter.org/
Цитата:
If you want to

store multiple IP addresses or port numbers and match against the collection by iptables at one swoop;
dynamically update iptables rules against IP addresses or ports without performance penalty;
express complex IP address and ports based rulesets with one single iptables rule and benefit from the speed of IP sets
мурз вне форума