Где взять базу ботов для защиты TDS?

[Maximus325]

Очень много ботов на ТДС гуляет, подскажите кто где базы для отсева берет?

[Maximus325]

Сообщение от Inquisitor

ставим точку с внешней ссылкой и собираем ботов

Это баян, так же как и кука.

У меня стоит клоака с невидимой ссылкой (сеодоровская), которая отдает js с фреймом не ботам через ТДС. К тдс подключена база с ботами. И все равно около 1к в сутки ботов.

[Maximus325]

Никто не юзал кстати http://december11group.org/skunk.htm ?

[gromhold]

Сообщение от Maximus325

Это баян, так же как и кука.

У меня стоит клоака с невидимой ссылкой (сеодоровская), которая отдает js с фреймом не ботам через ТДС. К тдс подключена база с ботами. И все равно около 1к в сутки ботов.

это такая клоака, лучше на кейтаро собрать свою , там как раз база ботов есть.

[Maximus325]

Сообщение от gromhold

это такая клоака, лучше на кейтаро собрать свою , там как раз база ботов есть.

Так у меня и есть кейтаро.

[editeur]

Боты каждый день новые с новых IP, их всех никак не отловишь. Часто лучше не пытаться блочить ботов, а разрешать только заведомо не ботов, по совокупности факторов, включая ISP клиента. Собрать базу ISP с которых идет живой траф, остальное блочить. Дополнительно блочить странные хиты (старые юзерагенты например) с хороших ISP.

[Maximus325]

Вот кейтаро определяет ботов достаточно мало, 25%. Все это боты так как индекса нету. И это уже за клоакой.

Сообщение от editeur

Боты каждый день новые с новых IP, их всех никак не отловишь. Часто лучше не пытаться блочить ботов, а разрешать только заведомо не ботов, по совокупности факторов, включая ISP клиента. Собрать базу ISP с которых идет живой траф, остальное блочить. Дополнительно блочить странные хиты (старые юзерагенты например) с хороших ISP.

Трудоемко слишком имхо.

[mr.Charlie]

Сообщение от editeur

Боты каждый день новые с новых IP, их всех никак не отловишь. Часто лучше не пытаться блочить ботов, а разрешать только заведомо не ботов, по совокупности факторов, включая ISP клиента. Собрать базу ISP с которых идет живой траф, остальное блочить. Дополнительно блочить странные хиты (старые юзерагенты например) с хороших ISP.

Ты это сам реализовывал? Выглядит нереально ебалистически.
Большинство ботов - это боты всяких сео-сервисов, брутфорсеры, сканеры, сплойтеры и тому подобное говно, которое как раз и сидит на провайдерских айпи.

[Maximus325]

Сообщение от mr.Charlie

Ты это сам реализовывал? Выглядит нереально ебалистически.
Большинство ботов - это боты всяких сео-сервисов, брутфорсеры, сканеры, сплойтеры и тому подобное говно, которое как раз и сидит на провайдерских айпи.

Я юзал такую систему на адалт арбитраже вообще, не моя реализация, партнер давал.
Там сразу хуизы и сколько по ним прошло уников. Пролив скажем 10к, стопаем, создаем вайтлисты, все что не вайт не проходит. И тд.

Просто на дорах, особенно там где 3-5 к в сутки это достижение, это нераельно будет.

[editeur]

Да, я это сам реализовывал, с базой ISP от maxmind.
Подавляющее большинство ботов, от которых клоачат, не на провайдерских IP, а на хостингах. На провайдерских IP, как ты правильно пишешь, сканеры, сплойтеры и подобное, от которых клоачить не имеет смысла. Вместо этого надо следить за безопасностью сервера, но это уже другая задача.

[mr.Charlie]

Сообщение от Maximus325

Вот кейтаро определяет ботов достаточно мало

Кстати да, это печаль. Я охуел вчера, когда меня yahoo slurp начал долбить. Кейтаро его не распознала.