[ИЩУ] помощь в блокировке беклинк ботов - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Объявления о покупке/продаже товаров и услуг
Дата
USD/RUB90.7493
BTC/USD70722.4707
Объявления о покупке/продаже товаров и услуг Также в этом разделе следует размещать и предложения о сотрудничестве.

Закрытая тема
Опции темы Опции просмотра
Старый 24.08.2014, 20:22   #1
Make
Member
 
Аватар для Make
 
Регистрация: 08.06.2012
Сообщений: 99
Бабло: $34690
По умолчанию [ИЩУ] помощь в блокировке беклинк ботов

Хотелось бы чтоб ahrefs, majestic и т д не сунули свой нос на мои сайты.
Может кто поможет заблочить или есть готовые решения?

P.S. У меня апач

Пишем в ЛС! Спасибо!
__________________
you know nothing about http://en.wikipedia.org/wiki/Taumata...enuakitanatahu
Make вне форума  
Старый 30.09.2014, 14:26   #2
tvano
Senior Member
 
Аватар для tvano
 
Регистрация: 09.10.2010
Сообщений: 316
Бабло: $75100
Отправить сообщение для tvano с помощью ICQ
По умолчанию

Цитата:
Сообщение от Make Посмотреть сообщение
Хотелось бы чтоб ahrefs, majestic и т д не сунули свой нос на мои сайты.
Может кто поможет заблочить или есть готовые решения?

P.S. У меня апач

Пишем в ЛС! Спасибо!
нашел кого?
tvano вне форума  
Старый 30.09.2014, 14:31   #3
bess
Раб системы
 
Регистрация: 07.02.2010
Сообщений: 6,163
Бабло: $1153600
По умолчанию

Ты же понимаешь, что бэки снимаются не с твоего сайта?
__________________
За трафом - в Bizzclick !
Огненное решение для конвертации бурж давнлоад трафика. Работаем с 2015 года. В ПМ.
bess вне форума  
Старый 30.09.2014, 16:40   #4
Dadee
Шоколатье
 
Аватар для Dadee
 
Регистрация: 20.04.2007
Сообщений: 5,973
Бабло: $726105
По умолчанию

пишем в .htaccess
Цитата:
SetEnvIfNoCase User-Agent .*rogerbot.* naughty
SetEnvIfNoCase User-Agent .*mj12bot.* naughty
SetEnvIfNoCase User-Agent .*ahrefsbot.* naughty


Order Allow,Deny
Allow from all
Deny from env=naughty
P.S. нагуглил в инете, у меня подобная конструкция вполне работает, а то ддосили постоянно.

Взять в аренду пол датацентра денег хватило, а распаралелить задачу чтобы серваки не ложила - это же думать надо
Dadee вне форума  
Старый 30.09.2014, 17:22   #5
ZLOY_BOT
Ебланнед
 
Регистрация: 06.07.2010
Сообщений: 993
Бабло: $231240
По умолчанию

Байду туда же в топку дописать,
+ по крону чтоб каждую минуту хттпд перепрочитывало - отработаные сессии выкидывать.
у меня серв погибал пока так не сделал.

А вот бы чтоб на апач для всего серва такое прикрутить,
чтоб для каждого сайта в .htaccess не прописывать, было бы хорошо.
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит!
ZLOY_BOT вне форума  
Старый 30.09.2014, 17:42   #6
Alexsize
All is Dust
 
Регистрация: 18.12.2008
Сообщений: 314
Бабло: $61470
По умолчанию

меня больше прикололи парсеры с ломанных сайтов (бразильские ip в основном)
Alexsize вне форума  
Старый 30.09.2014, 17:50   #7
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
По умолчанию

по теме есть такой топик

Цитата:
Сообщение от Make
P.S. У меня апач
прими мои соболезнования
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 30.09.2014, 18:05   #8
xcrew
Senior Member
 
Регистрация: 25.06.2009
Сообщений: 803
Бабло: $141790
По умолчанию

Dadee, не все боты ahrefs'а представляются как *ahrefsbot.*.
именно спрятать ссылки таким образом не получится

Make, если хочешь чтобы ссылки видел только гугл и мсн то по ип показывай только им. тогда никаких ссылок ахрефс и не спалит. по юзерагенту сделать чтобы он не палил ссылки у меня не получалось, те скорее всего часть его ботов представляются как гугл

Последний раз редактировалось xcrew; 30.09.2014 в 18:12.
xcrew вне форума  
Старый 02.10.2014, 11:35   #9
Make
Member
 
Аватар для Make
 
Регистрация: 08.06.2012
Сообщений: 99
Бабло: $34690
ТС -->
автор темы ТС По умолчанию

всем спасибо
уже давно получилось сделать собственными силами и вдруг я обнаружил ответы на мой топик
Dadee прав
__________________
you know nothing about http://en.wikipedia.org/wiki/Taumata...enuakitanatahu
Make вне форума  
Старый 02.10.2014, 15:07   #10
harvey birdman
Senior Member
 
Аватар для harvey birdman
 
Регистрация: 01.10.2010
Сообщений: 806
Бабло: $179180
По умолчанию

их боты маскируются под другие юзер агенты
пробовал спрятать сетку блогов всеравно находят
http://ru.myip.ms/browse/blacklist/1/lastblacklistID/8
можно к примеру с этого сервиса лочить обновляемые списки ипов этих ботов
harvey birdman вне форума