Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB59.1450
BTC/USD0.0000
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 02.07.2009, 12:53   #1
Dr.Gonzo
gofuckingoogle
 
Аватар для Dr.Gonzo
 
Регистрация: 28.08.2008
Адрес: ГНР
Сообщений: 7,730
Бабло: $1058715
По умолчанию Как ограничить траф сжираемый гуглботом?

Есть десяток-полтора старых мп3-каталогов скайлайновских и фиестовских, все под фильтрами, но пиаристые и с кол-вом страниц в индексе 100-400К. Траф с se идёт какой-то, копеешный, но идёт, по 100-200$ в месяц выходит.

А вот боты поисковые выжирают пиздец сколько трафа, как раз гдето 100-150$ в месяц уходит на хостинг (каталоги разнесены по разным VPS'ам у разных хостеров, почти везде перерасход трафа).

Надоело это - добавил в роботс.тхт строчку
Код:
User-agent: *
Crawl-delay: 200
Не помогло.

Попробовал в гугл вебмастерс тулз добавить сайты, выставил там вручную crawl rate низкий, 3 месяца ок, потом кравл рэйт выставился обратно на автомат, у хостеров снова превышения по трафу.

Ну - поменял снова, и вот тут хз что за гавно - никаких изменений!
Раньше когда менял кравл рэйт, вроде как запомнилось, что сначала в вебмастерской панели появляется сообщение, что "заявка принята, ждите подтверждения", затем приходит повторное сообщение в течении суток, что кравл рэйт изменён.

У меняже эти подтверждения не приходят. Было такое у кого-нибудь?

Погуглил - ничего подобного не нашёл.
Dr.Gonzo вне форума  
Старый 02.07.2009, 13:16   #2
seoseo
Senior Member
 
Регистрация: 12.11.2007
Сообщений: 654
Бабло: $18120
Отправить сообщение для seoseo с помощью ICQ
По умолчанию

Для отсечки ботов сам юзаю такой вариант.

В htaccess добавить

Цитата:
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot



Order Allow,Deny
Allow from all
Deny from env=search_bot
seoseo вне форума  
Старый 02.07.2009, 13:33   #3
ziavra
Senior Member
 
Регистрация: 10.04.2007
Адрес: Balifor
Сообщений: 468
Бабло: $29318
По умолчанию

Дак сайты из индекса же выпадут, если ботов забанить полностью. ТС хочет просто охлаить их пыл.
ziavra вне форума  
Старый 02.07.2009, 14:15   #4
bataka
Senior Member
 
Регистрация: 06.04.2008
Сообщений: 337
Бабло: $4080
По умолчанию

Цитата:
Сообщение от ziavra Посмотреть сообщение
Дак сайты из индекса же выпадут, если ботов забанить полностью. ТС хочет просто охлаить их пыл.
тьфу бля, тут пол форума мечтают как бота привести, а он ебть его отвадить хочет
bataka вне форума  
Старый 02.07.2009, 14:42   #5
Dr.Gonzo
gofuckingoogle
 
Аватар для Dr.Gonzo
 
Регистрация: 28.08.2008
Адрес: ГНР
Сообщений: 7,730
Бабло: $1058715
ТС -->
автор темы ТС По умолчанию

bataka
Dr.Gonzo вне форума  
Старый 02.07.2009, 16:44   #6
inlanger
Ебланнед
 
Регистрация: 16.02.2009
Сообщений: 252
Бабло: $33190
По умолчанию

Кидай ненужных ботов мне )
inlanger вне форума  
Старый 02.07.2009, 16:55   #7
LeXxiK
Senior Member
 
Аватар для LeXxiK
 
Регистрация: 03.03.2008
Сообщений: 2,249
Бабло: $257055
По умолчанию

может имеет смысл взять 1 сервер с нормальным бэндвичем и перенести всё туда?
LeXxiK вне форума  
Старый 02.07.2009, 17:20   #8
XeonN
/dev/null
 
Аватар для XeonN
 
Регистрация: 16.09.2008
Адрес: Мариуполь / Украина
Сообщений: 808
Бабло: $2302294
Отправить сообщение для XeonN с помощью ICQ
По умолчанию

Щяс хостеры проспамяться


З.Ы. На чистом хмтл нереально спалить много трафа, картинки жрут, может их захотлинкить ?)
__________________
Солью 100к+ DL трафа на конверт больше 10 с 1к. Аська в профиле.
XeonN вне форума  
Старый 02.07.2009, 21:05   #9
SLYplix
Go Fucking Business
 
Регистрация: 18.05.2007
Сообщений: 114
Бабло: $25859
Отправить сообщение для SLYplix с помощью ICQ
По умолчанию

юзай Google Webmaster Tools там можно активность ботов сделать меньше.
SLYplix вне форума  
Старый 02.07.2009, 21:09   #10
deschain
Senior Member
 
Аватар для deschain
 
Регистрация: 01.11.2007
Сообщений: 2,275
Бабло: $288535
По умолчанию

SLYplix, ты читал внимательно? ТС же отписал, что плохо помогло.

Dr.Gonzo, запрещай к индексу картинки.
deschain вне форума