Вопросы по robots.txt

[Bond James]

если там есть следующая запись Disallow: /papka/ то значит ли это что запрещается индекс всех вложеных в эту папку папок и файлов внутри них, или это касается только файлов внутри папки papka?

подскажите плз

[Maximus325]

Сообщение от Drunk Monk

Еще такой вариант есть

Там так проблематично будет.

[Maximus325]

А разве это кошерно в robots писать знаки "*" ?

[Dji]

Maximus325, кошерно

[Maximus325]

Ок, спасиб

[smiler]

Канеш кошерно
Вот такой роботс я делаю своим форумам:

User-agent: *
Disallow: /adm
Disallow: /backup
Disallow: /cache
Disallow: /download
Disallow: /includes
Disallow: /language
Disallow: /posting.php
Disallow: /search.php?
Disallow: /ucp.php
Disallow: /mcp.php
Disallow: /post
Disallow: /member
Disallow: /memberlist.php
Disallow: /viewonline.php
Disallow: /report.php
Disallow: /plesk-stat
Disallow: /faq.php
Disallow: /dumper.php
Disallow: /viewtopic.php?p=
Disallow: /viewtopic.php?=&p=
Disallow: /viewtopic.php?t=
Disallow: /viewtopic.php?start=
Disallow: /*&view=previous
Disallow: /*&view=next
Disallow: /*&sid=
Disallow: /*&p=
Disallow: /*&sd=a
Disallow: /*&start=0
Clean-param: sid /*.php

[Grut]

Clean-param: sid /*.php

впервые вижу такую строку. Что она значит?

[chesser]

Сообщение от Grut

впервые вижу такую строку. Что она значит?

параметр гет запросов, который нужно опускать и не обращать на него в нимания при сканировании сайта ботом ПС. Например: id сессии - sid
Как я понял, это больше актуально для яндекса
у меня гугл сам понимает, что надо и что не надо. + в вебмастертулс можно вручную эти параметры менять

[Summer In Paris]

Все правила обязательно тестируй в Гугл Вебмастер Тулзе, так безопасней. Ну и для сортировки "noindex,nofollow" действительно труднореализуемо, а вот rel="canonical" надо на всякий случай соорудить.

[Maximus325]

Сообщение от Summer In Paris

Все правила обязательно тестируй в Гугл Вебмастер Тулзе, так безопасней. Ну и для сортировки "noindex,nofollow" действительно труднореализуемо, а вот rel="canonical" надо на всякий случай соорудить.

Спасибо за совет!
На друпале заебно очень будет rel="canonical" реализовывать через пложение шаблонов, думаю robots.txt вполне достаточно будет.

[Пьер Дачело]

В общем, когда ставил форум почитал про роботс, вроде бы всё заебись прописал, гугл всё корректно проиндексил, а яндекс почему-то к ссылкам всех топиков добавил ?PHPSESSID=...
Вот такой у меня роботс:

PHP код:

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php 


Я так понял, если у меня ссылки вида

PHP код:

http://site.com/index.php/topic,1.0.html 


А яндекс проиндексил вот так:

PHP код:

http://site.com/index.php/topic,1.0.html?PHPSESSID=... 


то поможет мне если в роботс добавлю:

PHP код:

Disallow: /index.php/*.html?PHPSESSID=* 


Или так:

PHP код:

Disallow: /*?PHPSESSID 


?
А вообще, чего-то он так именно все топики проиндексил.
Ещё вот погуглил, мол можно через хтаксес сессии эти убрать:

Вы можете создать (или отредактировать) в нужной директории файл .htaccess, содержащий такие строки:

php_flag session.use_trans_sid off
php_flag session.use_cookies on

Или вот так:

Как можно убрать PHPSESSID из ссылок?

в файле .htaccess прописать следующее:

php_value session.use_trans_sid off