Вопросы по robots.txt

[Bond James]

если там есть следующая запись Disallow: /papka/ то значит ли это что запрещается индекс всех вложеных в эту папку папок и файлов внутри них, или это касается только файлов внутри папки papka?

подскажите плз

[DimaX]

И файлов и папок касается, т.е. запрещается индекс всех вложеных в эту папку папок и файлов внутри них.

[gcc]

угу, но если домен трастовый и внешних ссылок много, то гугл может проиндексировать. правда сниппет не покажет

[Metal]

если будут ссылки на эту папку, либо там будет большой траффик, то она будет 100% в индексе гугли.

[Chin]

DimaX прав, gcc тоже.
Есть живой пример, когда гугль несколько месяцев не выкидывал из индекса сайт, на котором стоял полный запрет индексации.
Вообще сейчас единственная защита от бота - .htaccess с паролем на вход в директорию. Но если Chrome начнет работать как индексатор - тогда совсем пиздец

[Bond James]

Сообщение от Chin

DimaX прав, gcc тоже.
Есть живой пример, когда гугль несколько месяцев не выкидывал из индекса сайт, на котором стоял полный запрет индексации.
Вообще сейчас единственная защита от бота - .htaccess с паролем на вход в директорию. Но если Chrome начнет работать как индексатор - тогда совсем пиздец

во во...а то я нашет тут парочку проиндексированых папок, на которые стоит запрет

и еще тогда вопрос по .htaccess - можно ли с помощью него (без логина/пароля) запретить доступ ботам к определенным папкам/файлам?
сама реализация не интересует.

короче ищу вариант как проверить резрешена или нет индексация на некоторых доменах =)

[channell]

Сообщение от Bond James

...и еще тогда вопрос по .htaccess - можно ли с помощью него (без логина/пароля) запретить доступ ботам к определенным папкам/файлам?
сама реализация не интересует...

Ну если в лоб решить...

1) Воткнуть в корневой htaccess контроль захода на robots.txt с запуском скрипта. Если бот, то он обязан зайти на robots.txt, стало быть запустит скрипт.
2) Этот скрипт сгенерит htaccess в папке (ну или инклюд) с 404 мордой.

[DimaX]

Сообщение от Chin

DimaX прав, gcc тоже.

Ну, я ответил так, как это по идее должно быть согласно стандарту, принятому для robots.txt
А то, что гуглобот, мягко говоря, забивает на все эти стандарты (как и яхубот слурп в некоторых случаях), это уже отдельная тема

[Домкрат]

Подскажите корректное содержимое сабжа для доров, чтобы оставить доступ только для гугла, мсн и яхи, но так, чтобы при этом яха не шибко усердствовал при индексации, а-то он мне апач с копыт срывает, второй раз за сутки уже, сука такая

[imgreen]

Запрещать доступ надо через .htaccess