Как закрыться от семраша, ахрефса и т.д.?

[Maximus325]

Есть у кого готовое проверенное решение?
Они robots.txt чтут? Или по ua через htaccess надо? Хитроботы у них есть?
Речь про свои сателлиты с которых будет продвигаться основной проект.

[Hector]

баню по UA

[Maximus325]

Сообщение от Hector

баню по UA

Помогает?
Дай код плз погонять)

[Dimazzan]

https://ru.ahrefs.com/robot
https://ru.semrush.com/bot/

[Matt Cutts]

Баню nginx'ом (ahrefs кстати не баню) по ua

[Hector]

Сообщение от Maximus325

Помогает?
Дай код плз погонять)

nginx?

[Maximus325]

Сообщение от Hector

nginx?

htaccess
но мне скинули уже если что

[vistacmarketing]

Maximus325, закрывал мажестик бота через роботс, половина ссылок отсеклать, но все равно много че лишнего показывает

[brace]

Я делаю как-то так:

#linkpad.ru
user-agent: LinkpadBot
disallow: /

#majestic.com
user-agent: MJ12bot
disallow: /

#ahrefs.com
user-agent: AhrefsBot
disallow: /

#moz.com
user-agent: rogerbot
disallow: /
user-agent: dotbot
disallow: /

#semrush.com
user-agent: SemrushBot
disallow: /

Какие еще сервисы есть, которые следует закрыть?

Сообщение от vistacmarketing

Maximus325, закрывал мажестик бота через роботс, половина ссылок отсеклать, но все равно много че лишнего показывает

Да просто время должно пройти, они не сразу убирают ссылки из базы. Если с самого начала запретить, то у меня их бот прибегает иногда, но ничего не индексирует.

[digg]

Сообщение от Maximus325

htaccess
но мне скинули уже если что

ну, так давай в паблик для достояния гильдии цеха вебмастеров