Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB59.1450
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 18.01.2016, 13:47   #1
Maximus325
Технодаун
 
Аватар для Maximus325
 
Регистрация: 11.05.2007
Сообщений: 10,023
Бабло: $1441800
Question Как закрыться от семраша, ахрефса и т.д.?

Есть у кого готовое проверенное решение?
Они robots.txt чтут? Или по ua через htaccess надо? Хитроботы у них есть?
Речь про свои сателлиты с которых будет продвигаться основной проект.
__________________
ноу криминалити ин раша
Maximus325 на форуме  
Старый 18.01.2016, 13:52   #2
Hector
Статус кво
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: California
Сообщений: 11,252
Бабло: $1447290
Отправить сообщение для Hector с помощью ICQ
По умолчанию

баню по UA
Hector вне форума  
Старый 18.01.2016, 13:54   #3
Maximus325
Технодаун
 
Аватар для Maximus325
 
Регистрация: 11.05.2007
Сообщений: 10,023
Бабло: $1441800
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Hector Посмотреть сообщение
баню по UA
Помогает?
Дай код плз погонять)
__________________
ноу криминалити ин раша
Maximus325 на форуме  
Старый 18.01.2016, 14:01   #4
Dimazzan
Senior Major
 
Аватар для Dimazzan
 
Регистрация: 06.04.2015
Сообщений: 330
Бабло: $47599
По умолчанию

https://ru.ahrefs.com/robot
https://ru.semrush.com/bot/
Dimazzan на форуме  
Старый 18.01.2016, 14:08   #5
Matt Cutts
Senior Member
 
Регистрация: 24.09.2009
Сообщений: 722
Бабло: $93360
Отправить сообщение для Matt Cutts с помощью Skype™
По умолчанию

Баню nginx'ом (ahrefs кстати не баню) по ua
Matt Cutts вне форума  
Старый 18.01.2016, 14:15   #6
Hector
Статус кво
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: California
Сообщений: 11,252
Бабло: $1447290
Отправить сообщение для Hector с помощью ICQ
По умолчанию

Цитата:
Сообщение от Maximus325 Посмотреть сообщение
Помогает?
Дай код плз погонять)
nginx?
Hector вне форума  
Старый 18.01.2016, 14:20   #7
Maximus325
Технодаун
 
Аватар для Maximus325
 
Регистрация: 11.05.2007
Сообщений: 10,023
Бабло: $1441800
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Hector Посмотреть сообщение
nginx?
htaccess
но мне скинули уже если что
__________________
ноу криминалити ин раша
Maximus325 на форуме  
Старый 18.01.2016, 14:20   #8
vistacmarketing
Senior Member
 
Аватар для vistacmarketing
 
Регистрация: 26.08.2008
Сообщений: 528
Бабло: $108550
По умолчанию

Maximus325, закрывал мажестик бота через роботс, половина ссылок отсеклать, но все равно много че лишнего показывает
vistacmarketing вне форума  
Старый 18.01.2016, 14:21   #9
brace
Юниор
 
Аватар для brace
 
Регистрация: 06.05.2015
Сообщений: 18
Бабло: $4048
По умолчанию

Я делаю как-то так:
Код:
#linkpad.ru
user-agent: LinkpadBot
disallow: /

#majestic.com
user-agent: MJ12bot
disallow: /

#ahrefs.com
user-agent: AhrefsBot
disallow: /

#moz.com
user-agent: rogerbot
disallow: /
user-agent: dotbot
disallow: /

#semrush.com
user-agent: SemrushBot
disallow: /
Какие еще сервисы есть, которые следует закрыть?

Цитата:
Сообщение от vistacmarketing Посмотреть сообщение
Maximus325, закрывал мажестик бота через роботс, половина ссылок отсеклать, но все равно много че лишнего показывает
Да просто время должно пройти, они не сразу убирают ссылки из базы. Если с самого начала запретить, то у меня их бот прибегает иногда, но ничего не индексирует.
brace вне форума  
Старый 18.01.2016, 16:30   #10
digg
$400
 
Аватар для digg
 
Регистрация: 17.05.2009
Сообщений: 7,990
Бабло: $1214320
Отправить сообщение для digg с помощью ICQ
По умолчанию

Цитата:
Сообщение от Maximus325 Посмотреть сообщение
htaccess
но мне скинули уже если что
ну, так давай в паблик для достояния гильдии цеха вебмастеров
digg на форуме  
Закрытая тема



Опции темы
Опции просмотра