Disallow

[ng-gr]

Наблюдаю в выдаче страницы бонусника, которые по идее не должны индекситься (в Disallow), в выдаче только титлы.
Как удаётся загнать в индекс такие страницы?

[DimaX]

Сообщение от bablolover

в любом факе?
http://ru.wikipedia.org/wiki/Robots.txt

то что роботы хуй забивают это другой вопрос. но изначально директива то для блокировки
она и в RFC поди так прописана, а гугль кладёт болт на RFC?
у меня по логам доров бот не ходит в disallow, щас проверил

В общем-то давно известный факт, что гуглобот кладет на роботс, если на закрытые в нем страницы есть определенное количество ссылок.

Если нужно гарантированно закрыть страницы от каких-либо ботов - делайте через .htaccess, как выше уже говорили.

[Maximus325]

О, сорри, туплю с утра, с ноуфоллоу перепутал)

[nobody0]

Сообщение от Maximus325

О, сорри, туплю с утра, с ноуфоллоу перепутал)

Аналогичная фигня, тоже с нофолоу попутал.

Что то не так с этим топиком, или с этим утром. :osminog:

[bablolover]

Сообщение от nobody0

а ты закрыть пытаешся там образом?

Самый лучшим способом запретить шастать ботам - "deny from all" в htaccesse

не, ну как бы юзерам то этот контент таки нужен
не клоакинг же лепить из такой мелочи

Сообщение от DimaX

В общем-то давно известный факт, что гуглобот кладет на роботс, если на закрытые в нем страницы есть определенное количество ссылок.

а это был правильный ответ на вопрос ТС'а

[ng-gr]

Сообщение от DimaX

В общем-то давно известный факт, что гуглобот кладет на роботс, если на закрытые в нем страницы есть определенное количество ссылок.

Если нужно гарантированно закрыть страницы от каких-либо ботов - делайте через .htaccess, как выше уже говорили.

Круто.

[deschain]

Так же гугл-бот заиндексит страницу, если на неё нет ссылок, но траф на неё будет идти, а на странице будет явно указано noindex,nofollow. По-крайней мере, эта страница будет вылазить по site:url, но без дескрипшена и урлом, вместо тайтла.

[nobody0]

есть такое. тулбар постукивает.