Вопросы по robots.txt

[Bond James]

если там есть следующая запись Disallow: /papka/ то значит ли это что запрещается индекс всех вложеных в эту папку папок и файлов внутри них, или это касается только файлов внутри папки papka?

подскажите плз

[deschain]

Угу, яха уже одолел своей дикой индексацией, херачит повторяющиеся запросы, да ещё чуть ли не по 5-10 запросов в секунду. Задолбал уже.

[Chin]

краул-дилэй выставлять надо
если незнаешь чекак - вот тут http://4seo.biz/tools/15/ геренатор валидного роботса с этим дилеем.
сама цифра - секунды между дерганьем страниц с сервера.
А чисто роботсом запретить левым ботам шариться не получится, они на него хуй кладут.

[Домкрат]

большое спасибо, буду пробовать.
с htaccess пожалуй связываться не буду, боюсь совсем ботов спугнуть

[Chin]

Кстати делей можно выставить для конкретного бота (например ЧИСТО для яхи)
Я кстати проверял - яха эту директиву слушает.

[imgreen]

с htaccess пожалуй связываться не буду, боюсь совсем ботов спугнуть

http://web-optimist.blogspot.com/200...-htaccess.html
Вот тут уже готовое решение есть. И скрипт для теста есть.

[Maximus325]

Есть много урлов типа:
site.com/razdel1?order=field_1_2_value&sort=asc
site.com/razdel2/schedule?sort=asc&order=Entry
и в таком духе, те через ? вызывается некая сортировка.
Как мне в robots.txt запрретить что идет после знака "?" ?
При этом то что жирное надо что бы не запрещалось.

[dady]

ДЕЛ

[Dji]

User-agent: *
Disallow: /*?*
Disallow: /*?

походу так

[Drunk Monk]

Еще такой вариант есть

<meta name="ROBOTS" content="NOINDEX,NOFOLLOW">

[yama]

Сообщение от Maximus325

Есть много урлов типа:
site.com/razdel1?order=field_1_2_value&sort=asc
site.com/razdel2/schedule?sort=asc&order=Entry
и в таком духе, те через ? вызывается некая сортировка.
Как мне в robots.txt запрретить что идет после знака "?" ?
При этом то что жирное надо что бы не запрещалось.

Как выше сказали, достаточно так:
Disallow: /*?*

То, если у тебя внутренних ссылок нет на эти урлы без параметров в чистом виде, но пропадет все из индекса.