Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB58.7570
BTC/USD0.0000
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 07.10.2008, 20:26   #1
Bond James
Senior Member
 
Регистрация: 10.07.2008
Сообщений: 236
Бабло: $43665
Exclamation Вопросы по robots.txt

если там есть следующая запись Disallow: /papka/ то значит ли это что запрещается индекс всех вложеных в эту папку папок и файлов внутри них, или это касается только файлов внутри папки papka?

подскажите плз
Bond James вне форума  
Старый 07.10.2008, 20:40   #2
DimaX
Senior Member
 
Регистрация: 19.04.2007
Сообщений: 2,272
Бабло: $294990
По умолчанию

И файлов и папок касается, т.е. запрещается индекс всех вложеных в эту папку папок и файлов внутри них.
DimaX вне форума  
Старый 07.10.2008, 21:58   #3
gcc
Ебланнед
 
Регистрация: 22.11.2007
Сообщений: 2,988
Бабло: $48575
По умолчанию

угу, но если домен трастовый и внешних ссылок много, то гугл может проиндексировать. правда сниппет не покажет
gcc вне форума  
Старый 07.10.2008, 22:34   #4
Metal
rock'n'metal
 
Аватар для Metal
 
Регистрация: 05.10.2007
Сообщений: 309
Бабло: $620
Отправить сообщение для Metal с помощью ICQ
По умолчанию

если будут ссылки на эту папку, либо там будет большой траффик, то она будет 100% в индексе гугли.
__________________
coming soon
Metal вне форума  
Старый 07.10.2008, 22:36   #5
Chin
Senior Member
 
Аватар для Chin
 
Регистрация: 03.06.2007
Сообщений: 489
Бабло: $810
По умолчанию

DimaX прав, gcc тоже.
Есть живой пример, когда гугль несколько месяцев не выкидывал из индекса сайт, на котором стоял полный запрет индексации.
Вообще сейчас единственная защита от бота - .htaccess с паролем на вход в директорию. Но если Chrome начнет работать как индексатор - тогда совсем пиздец
__________________
31 free seo tools
Chin вне форума  
Старый 07.10.2008, 23:06   #6
Bond James
Senior Member
 
Регистрация: 10.07.2008
Сообщений: 236
Бабло: $43665
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Chin Посмотреть сообщение
DimaX прав, gcc тоже.
Есть живой пример, когда гугль несколько месяцев не выкидывал из индекса сайт, на котором стоял полный запрет индексации.
Вообще сейчас единственная защита от бота - .htaccess с паролем на вход в директорию. Но если Chrome начнет работать как индексатор - тогда совсем пиздец
во во...а то я нашет тут парочку проиндексированых папок, на которые стоит запрет

и еще тогда вопрос по .htaccess - можно ли с помощью него (без логина/пароля) запретить доступ ботам к определенным папкам/файлам?
сама реализация не интересует.

короче ищу вариант как проверить резрешена или нет индексация на некоторых доменах =)
Bond James вне форума  
Старый 08.10.2008, 07:57   #7
channell
Юниор
 
Регистрация: 09.08.2008
Сообщений: 25
Бабло: $1110
По умолчанию

Цитата:
Сообщение от Bond James Посмотреть сообщение
...и еще тогда вопрос по .htaccess - можно ли с помощью него (без логина/пароля) запретить доступ ботам к определенным папкам/файлам?
сама реализация не интересует...
Ну если в лоб решить...

1) Воткнуть в корневой htaccess контроль захода на robots.txt с запуском скрипта. Если бот, то он обязан зайти на robots.txt, стало быть запустит скрипт.
2) Этот скрипт сгенерит htaccess в папке (ну или инклюд) с 404 мордой.
channell вне форума  
Старый 08.10.2008, 13:15   #8
DimaX
Senior Member
 
Регистрация: 19.04.2007
Сообщений: 2,272
Бабло: $294990
По умолчанию

Цитата:
Сообщение от Chin Посмотреть сообщение
DimaX прав, gcc тоже.
Ну, я ответил так, как это по идее должно быть согласно стандарту, принятому для robots.txt
А то, что гуглобот, мягко говоря, забивает на все эти стандарты (как и яхубот слурп в некоторых случаях), это уже отдельная тема
DimaX вне форума  
Старый 10.02.2009, 14:14   #9
Домкрат
Дохуя дорвейщик
 
Аватар для Домкрат
 
Регистрация: 26.11.2008
Сообщений: 903
Бабло: $55079
По умолчанию robots.txt

Подскажите корректное содержимое сабжа для доров, чтобы оставить доступ только для гугла, мсн и яхи, но так, чтобы при этом яха не шибко усердствовал при индексации, а-то он мне апач с копыт срывает, второй раз за сутки уже, сука такая
__________________
If you can dream - and not make dreams your master
Домкрат вне форума  
Старый 10.02.2009, 14:33   #10
imgreen
Lion King
 
Аватар для imgreen
 
Регистрация: 15.11.2008
Сообщений: 12,074
Бабло: $247698106
По умолчанию

Запрещать доступ надо через .htaccess
imgreen на форуме  
Закрытая тема



Опции темы
Опции просмотра