|
| Дата |
|
USD/RUB | 90.7493 | BTC/USD | 70722.4707 |
|
|
|
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии. |
09.06.2015, 15:55
|
#1
|
Сеньйор Помидор
Регистрация: 28.08.2007
Сообщений: 2,008
Бабло: $420695
|
Отлов DMCA ботов, как?
По каким признакам их вылавливать? И что им отдавать? 404? Буду очень благодарен если кто нить признаками\ипами поделится.
__________________
Я- МОЙВА!!!
|
|
|
09.06.2015, 15:59
|
#2
|
hustle
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
|
По логам смотри и бань. Некоторые даюе юзерагенты подставляют свои фирменные.
Признаки: UA, IP, IP RANGE, REFERER
Отдавать что хочешь, можно и 403.
NGINX удобно для этого.
|
|
|
09.06.2015, 16:03
|
#3
|
Сеньйор Помидор
Регистрация: 28.08.2007
Сообщений: 2,008
Бабло: $420695
ТС -->
|
ТС
Цитата:
Сообщение от Hector
По логам смотри и бань. Некоторые даюе юзерагенты подставляют свои фирменные.
Признаки: UA, IP, IP RANGE, REFERER
Отдавать что хочешь, можно и 403.
NGINX удобно для этого.
|
Кэп?
__________________
Я- МОЙВА!!!
|
|
|
09.06.2015, 16:14
|
#4
|
hustle
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
|
Нах я свое время на тебя потратил
У каждого свои признаки, не понятно что ли? Абузеры тоже разные в зависимости от ниши. Врубай логи и смотри своих ботов за тебя этого никто делать не будет.
|
|
|
09.06.2015, 16:23
|
#5
|
Senior Member
Регистрация: 04.09.2007
Сообщений: 1,267
Бабло: $254000
|
очень помогает снизить объем именно автоматических DMCA абуз бан амазоновских подсеток
еще есть эти гомосеки
64.41.145.0 - 64.41.145.255
64.41.128.0 - 64.41.255.255
ну и гектор на удивление дело говорит, анализируй логи, я раз в неделю вычищаю новые подсетки, которые парсят больше N страниц.
__________________
Апарсер охрененен
|
|
|
09.06.2015, 16:56
|
#6
|
Сеньйор Помидор
Регистрация: 28.08.2007
Сообщений: 2,008
Бабло: $420695
ТС -->
|
ТС
Цитата:
Сообщение от xealey
очень помогает снизить объем именно автоматических DMCA абуз бан амазоновских подсеток
еще есть эти гомосеки
64.41.145.0 - 64.41.145.255
64.41.128.0 - 64.41.255.255
ну и гектор на удивление дело говорит, анализируй логи, я раз в неделю вычищаю новые подсетки, которые парсят больше N страниц.
|
гектор на вопрос "как отлавливать" ответил "отлавливай"
А вот твой совет - очень в тему, особенно по поводу парсинга, спс за идею
Думаю в принципе к амазону можно еще и хетцнер добавить
__________________
Я- МОЙВА!!!
|
|
|
09.06.2015, 16:58
|
#7
|
hustle
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
|
Цитата:
Сообщение от xealey
ну и гектор на удивление дело говорит, анализируй логи, я раз в неделю вычищаю новые подсетки, которые парсят больше N страниц.
|
Какое удивление? )))) Мы с админом один разок ботов почистили таких, так нагрузка упала раз в 50. Бан еще правда на уровне iptables использован. Да и сам регулярно вношу в блек листы. Много реально с c амазона идут и с других хостинг провайдеров типа хецнера.
Цитата:
Сообщение от qvent
гектор на вопрос "как отлавливать" ответил "отлавливай"
|
В упор не вижу слова КАК.
Мы берем открываем абузу, смотрим какой урл, ищем по логам кто дергал этот урл и добавляем в БАНЮ. Вот и все. Иногда и подсеть в баню, зависит насколько мы уверены что это бот)
На вопрос КАК ищи тему chesser-a там про ботов написано.
Последний раз редактировалось Hector; 09.06.2015 в 17:03.
|
|
|
09.06.2015, 17:14
|
#8
|
Сеньйор Помидор
Регистрация: 28.08.2007
Сообщений: 2,008
Бабло: $420695
ТС -->
|
ТС
Уже читаю, теперь осталось придумать как это на апач надеть )
__________________
Я- МОЙВА!!!
|
|
|
09.06.2015, 18:59
|
#9
|
.
Регистрация: 06.12.2009
Сообщений: 70
Бабло: $19540
|
подскажите ipset-ом нормально будет если забанить 2,5к диапов?
|
|
|
09.06.2015, 22:13
|
#10
|
Ебланнед
Регистрация: 30.04.2015
Сообщений: 385
Бабло: $60115
|
Цитата:
Сообщение от Shadrin
подскажите ipset-ом нормально будет если забанить 2,5к диапов?
|
http://ipset.netfilter.org/
Цитата:
If you want to
store multiple IP addresses or port numbers and match against the collection by iptables at one swoop;
dynamically update iptables rules against IP addresses or ports without performance penalty;
express complex IP address and ports based rulesets with one single iptables rule and benefit from the speed of IP sets
|
|
|
|
Опции темы |
|
Опции просмотра |
Линейный вид
|
|