Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB59.0510
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 31.10.2011, 02:52   #1
Diplomat
Senior Member
 
Аватар для Diplomat
 
Регистрация: 26.10.2009
Сообщений: 594
Бабло: $123024
По умолчанию На сплоги напали боты

User-Agent: FPLinkChecker/1.2 ебет нереально, аж БД со статой переодически отваливается. Резать\не резать? Что за зверь? Кто сталкивался?
Diplomat вне форума  
Старый 31.10.2011, 04:01   #2
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,100
Бабло: $611505
По умолчанию

Сделай в robots.txt:
Crawl-Delay: 30
задержка в 30 сек, нормальные боты ее понимают.
А твоего бы я порезал или бы влез в код сплога и поставил бы задержку на отдачу страницы секунды в 3.
Drg вне форума  
Старый 31.10.2011, 05:17   #3
benzole
Senior Member
 
Аватар для benzole
 
Регистрация: 25.06.2007
Сообщений: 1,493
Бабло: $490772
По умолчанию

http://user-agent-string.info/?Fuas=...action=analyze

если сайт не врёт - чекер битых ссылок.
но возможно это заспуфленый юзер-агент.
__________________
Talitha kumi!
benzole вне форума  
Старый 31.10.2011, 05:17   #4
Diplomat
Senior Member
 
Аватар для Diplomat
 
Регистрация: 26.10.2009
Сообщений: 594
Бабло: $123024
ТС -->
автор темы ТС По умолчанию

Просто у меня сплоги плотно с социалками завязаны, поэтому много разных ходит. Ну этот чет борзеет) Убил уже
.htaccess
Цитата:
RewriteCond %{HTTP_USER_AGENT} ^FPLinkChecker
RewriteRule ^(.*)$ http://127.0.0.1/
Diplomat вне форума  
Старый 31.10.2011, 06:38   #5
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

я если сомневаюсь, то режу скорость nginx'ом
но чаще отворот поворот на 444 ошибку

Цитата:
Сообщение от Diplomat
RewriteRule ^(.*)$ http://127.0.0.1/
это что за пиздец?
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 31.10.2011, 06:50   #6
Diplomat
Senior Member
 
Аватар для Diplomat
 
Регистрация: 26.10.2009
Сообщений: 594
Бабло: $123024
ТС -->
автор темы ТС По умолчанию

Это редир бота на локалхост, чтоб сам себя дрючил
Diplomat вне форума  
Старый 31.10.2011, 06:58   #7
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

Цитата:
Сообщение от Diplomat Посмотреть сообщение
Это редир бота на локалхост, чтоб сам себя дрючил
а, теперь понял
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 31.10.2011, 07:31   #8
xanxy
Senior Member
 
Регистрация: 18.08.2010
Сообщений: 361
Бабло: $66100
По умолчанию

нужно тогда [r=301,nc] дописать, а так вроде как ты сам себя дрочишь
xanxy вне форума  
Старый 31.10.2011, 08:31   #9
Diplomat
Senior Member
 
Аватар для Diplomat
 
Регистрация: 26.10.2009
Сообщений: 594
Бабло: $123024
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от xanxy Посмотреть сообщение
нужно тогда [r=301,nc] дописать, а так вроде как ты сам себя дрочишь
Все ок, проверял.
Diplomat вне форума  
Старый 31.10.2011, 09:39   #10
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

Цитата:
Сообщение от Diplomat Посмотреть сообщение
Все ок, проверял.
а проверь еще раз

и если уж апач, то вот топик с примерами правильной обработки ботов:
http://www.gofuckbiz.com/showthread.php?t=26545

SetEnvIfNoCase вместо RewriteRule
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Закрытая тема



Опции темы
Опции просмотра