Запретить гугл бота?.

[balamutik]

Как запретить полностью гуглу просматривать сайт? Думаю на дорах запретить его,трафа с гугла всё равно нету,всё в соплях,а нагрузку создаёт приличную,доры заточены под яндекс,хочется побольше доров на сервак засовывать.Как думаете есть смысл?.
Или чего ему надо? Индексит всё,а в выдачу не ставит,сабы,свежерег домены,проспамить их? Раньше хватало на 5-6 сайтах проставить ссылки для топа,потом как-то наебнулось всё.

[seroja]

.htaccess

PHP код:

SetEnvIfNoCase User-Agent ".*Yandex.*" search_bot
SetEnvIfNoCase User-Agent ".*Yahoo.*" search_bot
SetEnvIfNoCase User-Agent ".*igdeSpyder.*" search_bot
SetEnvIfNoCase User-Agent ".*Robot.*" search_bot
SetEnvIfNoCase User-Agent ".*Googlebot.*" search_bot
SetEnvIfNoCase User-Agent ".*Sogou.*" search_bot
SetEnvIfNoCase User-Agent ".*MLBot.*" search_bot
SetEnvIfNoCase User-Agent ".*magpie-crawler.*" search_bot
SetEnvIfNoCase User-Agent ".*msnbot.*" search_bot
SetEnvIfNoCase User-Agent ".*Aport.*" search_bot
SetEnvIfNoCase User-Agent ".*Mail.*" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent ".*spider.*" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent ".*Parser.*" search_bot
SetEnvIfNoCase User-Agent "^Java" search_bot
SetEnvIfNoCase User-Agent ".*vbseo.*" search_bot
SetEnvIfNoCase User-Agent ".*Ezooms.*" search_bot
SetEnvIfNoCase User-Agent ".*FeedBurner.*" search_bot
SetEnvIfNoCase User-Agent ".*Baiduspider.*" search_bot


<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit> 


на сутре отсеиваю так

[Hesoyam]

Drg, у меня наоборот было
раньше банил через .htaccess гугл все время долбился
потом через роботс, через 2-3 дня переставал

[sydoow]

Тоже сталкивался с подобной проблемой. Решил через роботс. Запретил в роботсе и через несколько дней гугл отъебался.

[balamutik]

У меня доры динамические,страницы кэшируются на лету при заходе бота,больше всего грузится cpu,по идее запретив гугл бота нагрузка же должна уменьшится? он с моих доров не вылезает,24 часа онлайн пасётся на них,но всё равно всё в соплях.Может спама добавить или с хуёвым контентом уже не спасёт?.

[Drg]

balamutik, Да написали же тебе сделай robots.txt как тут было написано + для надежности запрети через .htaccess через пару дней отстанет и будет только robots.txt опрашивать

[balamutik]

Запретил через брандмауэр сервера бинг,мсн и гугл,вдвое нагрузка упала.Подскажите плз какие ещё всякие мелкие поисковики есть которые тоже очень назойливые? Заранее большое спасибо.

[Hesoyam]

Сообщение от balamutik

Запретил через брандмауэр сервера бинг,мсн и гугл,вдвое нагрузка упала.Подскажите плз какие ещё всякие мелкие поисковики есть которые тоже очень назойливые? Заранее большое спасибо.

ну ты скачай лог за день, и смотри там
боты по разному ведут себя на разных сайтах

[Drg]

User-agent: Ezooms
Disallow: /
User-agent: Baiduspider
Disallow: /
у меня самый надоедливые эти! Правда Baidu ему по фигу на robots.txt все равно сканит. Проще китай и японию запретить, тогда не будет ходить

[balamutik]

А нафига в роботсе запрещать если можно сразу фаерволом,а потом когда понадобится просто открыть им доступ и будет для них как будто бы новый сайт.