Как частично закрыть сайт от индексации?

[OXPEHETb]

Попробую описать суть
Есть сайт.
Необходимо, чтобы пользователи и боты видели и могли попасть на URL типа:

domen.com/info/inside/
domen.com/info/page/
domen.com/info/lookthis/

Но дальше, зайти не могли. Т.е. адреса типа

domen.com/info/inside/123/
domen.com/info/page/rakadil/
domen.com/info/lookthis/kartinki/siski/shemale/

не были доступны.

Как такое лучше реализовать?

Думал при помощи robots.txt вот такое прописать, но правильно ли это будет?
User-agent: *
Allow: /info/*/
Disallow: /info/*/*

[ivy]

$
https://yandex.ru/support/webmaster/...sterisk-dollar

Гугл тоже должен поддерживать. Это если про robots.
Но что ты имеешь ввиду под

не были доступны.

?
тут robots.txt не поможет, надо правилами для веб сервера закрывать (.htaccess)

[OXPEHETb]

Сообщение от ivy

$
https://yandex.ru/support/webmaster/...sterisk-dollar

Гугл тоже должен поддерживать. Это если про robots.
Но что ты имеешь ввиду под ?
тут robots.txt не поможет, надо правилами для веб сервера закрывать (.htaccess)

Вот я мануал яши читал, но чет не догнал как правильно.

Вообще на самом сайте прямых ссылок на внутренние страницы нет, поэтому если их закрыть от индексации, не думаю, что траф туда попадет. В идеале, конечно полностью закрыть, но с htaccessом баловаться очкую малость.

[alter13]

с /kartinki/siski/shemale/ не очкуешь, а с htaccess очкуешь? Непорядок!
Чего там очковать? прописал правила и пздц... не работают - поменял.

[Adrenalin]

Сообщение от alter13

Чего там очковать? прописал правила и пздц... не работают - поменял.

Это надо делать, а тут запостил на форуме топик и жди готовых ответов.

[Netex-me]

Да, в robots.txt можно закрыть только индексацию страниц поисковыми роботами, но страницы все равно могут попасть в поиск, и на них сможет зайти клиент. Поэтому нужно понимать, что запрет доступа клиентам и запрет индексации роботам - совершенно разные и никак не связанные понятия.

Вот рук-во по разграничению доступа, надеюсь, поможет: http://htaccess.net.ru/doc/htaccess/order.php