Как закрыться от семраша, ахрефса и т.д.? - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB75.1996
BTC/USD19107.5817
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 18.01.2016, 13:47   #1
Maximus325
Технодаун
 
Регистрация: 11.05.2007
Сообщений: 10,343
Бабло: $1497405
Question Как закрыться от семраша, ахрефса и т.д.?

Есть у кого готовое проверенное решение?
Они robots.txt чтут? Или по ua через htaccess надо? Хитроботы у них есть?
Речь про свои сателлиты с которых будет продвигаться основной проект.
__________________
ноу криминалити ин раша
Maximus325 вне форума  
Старый 18.01.2016, 13:52   #2
Hector
hustle
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,682
Бабло: $1685695
Отправить сообщение для Hector с помощью Jabber
По умолчанию

баню по UA
Hector на форуме  
Старый 18.01.2016, 13:54   #3
Maximus325
Технодаун
 
Регистрация: 11.05.2007
Сообщений: 10,343
Бабло: $1497405
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Hector Посмотреть сообщение
баню по UA
Помогает?
Дай код плз погонять)
__________________
ноу криминалити ин раша
Maximus325 вне форума  
Старый 18.01.2016, 14:01   #4
Dimazzan
Senior Major
 
Аватар для Dimazzan
 
Регистрация: 06.04.2015
Сообщений: 577
Бабло: $80414
По умолчанию

https://ru.ahrefs.com/robot
https://ru.semrush.com/bot/
Dimazzan вне форума  
Старый 18.01.2016, 14:08   #5
Matt Cutts
Senior Member
 
Регистрация: 24.09.2009
Сообщений: 810
Бабло: $105215
По умолчанию

Баню nginx'ом (ahrefs кстати не баню) по ua
Matt Cutts вне форума  
Старый 18.01.2016, 14:15   #6
Hector
hustle
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,682
Бабло: $1685695
Отправить сообщение для Hector с помощью Jabber
По умолчанию

Цитата:
Сообщение от Maximus325 Посмотреть сообщение
Помогает?
Дай код плз погонять)
nginx?
Hector на форуме  
Старый 18.01.2016, 14:20   #7
Maximus325
Технодаун
 
Регистрация: 11.05.2007
Сообщений: 10,343
Бабло: $1497405
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Hector Посмотреть сообщение
nginx?
htaccess
но мне скинули уже если что
__________________
ноу криминалити ин раша
Maximus325 вне форума  
Старый 18.01.2016, 14:20   #8
vistacmarketing
Senior Member
 
Аватар для vistacmarketing
 
Регистрация: 26.08.2008
Сообщений: 549
Бабло: $112190
По умолчанию

Maximus325, закрывал мажестик бота через роботс, половина ссылок отсеклать, но все равно много че лишнего показывает
vistacmarketing вне форума  
Старый 18.01.2016, 14:21   #9
brace
Юниор
 
Аватар для brace
 
Регистрация: 06.05.2015
Сообщений: 19
Бабло: $5738
По умолчанию

Я делаю как-то так:
Код:
#linkpad.ru
user-agent: LinkpadBot
disallow: /

#majestic.com
user-agent: MJ12bot
disallow: /

#ahrefs.com
user-agent: AhrefsBot
disallow: /

#moz.com
user-agent: rogerbot
disallow: /
user-agent: dotbot
disallow: /

#semrush.com
user-agent: SemrushBot
disallow: /
Какие еще сервисы есть, которые следует закрыть?

Цитата:
Сообщение от vistacmarketing Посмотреть сообщение
Maximus325, закрывал мажестик бота через роботс, половина ссылок отсеклать, но все равно много че лишнего показывает
Да просто время должно пройти, они не сразу убирают ссылки из базы. Если с самого начала запретить, то у меня их бот прибегает иногда, но ничего не индексирует.
brace вне форума  
Старый 18.01.2016, 16:30   #10
digg
$400
 
Аватар для digg
 
Регистрация: 17.05.2009
Сообщений: 10,285
Бабло: $1488465
Отправить сообщение для digg с помощью ICQ
По умолчанию

Цитата:
Сообщение от Maximus325 Посмотреть сообщение
htaccess
но мне скинули уже если что
ну, так давай в паблик для достояния гильдии цеха вебмастеров
digg вне форума  
Закрытая тема



Опции темы
Опции просмотра