Вопросы по robots.txt

[Bond James]

если там есть следующая запись Disallow: /papka/ то значит ли это что запрещается индекс всех вложеных в эту папку папок и файлов внутри них, или это касается только файлов внутри папки papka?

подскажите плз

[mycop]

Woozy

спс.....

[blacks]

надо заблочить доступ бота к хомпаге...

Disallow: /index.html
Disallow: /index.php

это сработает или поможет только вариант полной блокировки

Disallow: /

?

[Diplomat]

http://webmaster.yandex.ru/robots.xml

[Final Fantasy]

гуглу пох на роботс - проверенo

[Drg]

Сообщение от blacks

надо заблочить доступ бота к хомпаге...

Disallow: /index.html
Disallow: /index.php

это сработает или поможет только вариант полной блокировки

Disallow: /

?

Лучше на главную страницу добавь:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Nofollow можешь убрать, если другие страницы на которые index.html ссылается
да и прав:

Сообщение от Final Fantasy

гуглу пох на роботс - проверенo

Поисковики обнаглели, я в robots.txt запретил индексацию корзины на шопе, гугл не лезет, а вот бинг прилично нагружает сервак. Ну пришлось ему принудительно sleep поставить в 2 секунды, ну и если совсем борзеет блокировать...

[blacks]

бл.. мне для кое-какого бота надо закрыть доступ к хомпаге, для других же оставить, вариант либо закрывать весь домен полностью либо только индекс.хтмл, так вот еще раз спрашиваю, так проканает?
Disallow: /index.html
Disallow: /index.php

[DoctorFake]

Сообщение от blacks

бл.. мне для кое-какого бота надо закрыть доступ к хомпаге, для других же оставить, вариант либо закрывать весь домен полностью либо только индекс.хтмл, так вот еще раз спрашиваю, так проканает?
Disallow: /index.html
Disallow: /index.php

Diplomat же тебе кинул линк, проверь сам, и все станет ясно. Если структура у тебя вяжется на index.php (index.php?variable и т.д.), то хз, а если чпу, то проканает.
Кстати, Drg тебе толково написал, подумай насчет этого, если гарантировано надо скрыть пагу. Боты вообще охуели

[Drg]

Сообщение от blacks

бл.. мне для кое-какого бота надо закрыть доступ к хомпаге, для других же оставить, вариант либо закрывать весь домен полностью либо только индекс.хтмл, так вот еще раз спрашиваю, так проканает?
Disallow: /index.html
Disallow: /index.php

Кое какого бота проще закрывать через .htaccess/httpd.conf по юзергаенту или по маске IP.

SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot

<FilesMatch "^.*$">
Order Allow,Deny
Allow from all
Deny from env=search_bot
</FilesMatch>

[blacks]

Сообщение от DoctorFake

Diplomat же тебе кинул линк, проверь сам, и все станет ясно. Если структура у тебя вяжется на index.php (index.php?variable и т.д.), то хз, а если чпу, то проканает.
Кстати, Drg тебе толково написал, подумай насчет этого, если гарантировано надо скрыть пагу. Боты вообще охуели

ну вот да, у меня вяжется все через index.php...

Drg, сенкс насчет htaccess, попробую так еще