яндекс, загрузка страниц роботом
как повысить количество страиниц загруженых роботом?
есть каталог в 50к страниц, в по яндекс вебмастеру загружено роботом 9к, страниц в поиске 1.5к... на сайте есть саайтмап, перелинковка ммежду страницами кольцом, плюс штмл-карта сайта(запрещена для кеширования, только для того чтобы бот бегал по ней)
какого хера в одном случае индексирует 9 в другом 20к, как повлиять на то чтобы сожрал весь сайт, это же не как сопли у гугла?
|