Есть десяток-полтора старых мп3-каталогов скайлайновских и фиестовских, все под фильтрами, но пиаристые и с кол-вом страниц в индексе 100-400К. Траф с se идёт какой-то, копеешный, но идёт, по 100-200$ в месяц выходит.
А вот боты поисковые выжирают пиздец сколько трафа, как раз гдето 100-150$ в месяц уходит на хостинг (каталоги разнесены по разным VPS'ам у разных хостеров, почти везде перерасход трафа).
Надоело это - добавил в роботс.тхт строчку
Код:
User-agent: *
Crawl-delay: 200
Не помогло.
Попробовал в гугл вебмастерс тулз добавить сайты, выставил там вручную crawl rate низкий, 3 месяца ок, потом кравл рэйт выставился обратно на автомат, у хостеров снова превышения по трафу.
Ну - поменял снова, и вот тут хз что за гавно - никаких изменений!
Раньше когда менял кравл рэйт, вроде как запомнилось, что сначала в вебмастерской панели появляется сообщение, что "заявка принята, ждите подтверждения", затем приходит повторное сообщение в течении суток, что кравл рэйт изменён.
У меняже эти подтверждения не приходят. Было такое у кого-нибудь?
Погуглил - ничего подобного не нашёл.
Как ограничить траф сжираемый гуглботом?
ТС
Линейный вид
