|
| Дата |
|
USD/RUB | 88.4375 | BTC/USD | 68049.7798 |
|
|
|
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д. |
07.10.2008, 20:26
|
Start Post: Вопросы по robots.txt
|
Senior Member
Регистрация: 10.07.2008
Сообщений: 233
Бабло: $43675
|
если там есть следующая запись Disallow: /papka/ то значит ли это что запрещается индекс всех вложеных в эту папку папок и файлов внутри них, или это касается только файлов внутри папки papka?
подскажите плз
|
|
|
17.10.2012, 13:41
|
#42
|
Senior Member
Регистрация: 30.10.2011
Сообщений: 174
Бабло: $72645
|
Woozy
спс.....
|
|
|
24.10.2012, 03:17
|
#43
|
Senior Member
Регистрация: 23.06.2008
Сообщений: 1,465
Бабло: $282970
|
хелп с robots.txt
надо заблочить доступ бота к хомпаге...
Disallow: /index.html
Disallow: /index.php
это сработает или поможет только вариант полной блокировки
Disallow: /
?
__________________
продам место для рекламы, контакты в ЛС
|
|
|
24.10.2012, 03:27
|
#44
|
Senior Member
Регистрация: 26.10.2009
Сообщений: 593
Бабло: $127864
|
|
|
|
24.10.2012, 10:16
|
#45
|
private.
Регистрация: 30.04.2008
Сообщений: 3,864
Бабло: $462950
|
гуглу пох на роботс - проверенo
|
|
|
24.10.2012, 10:24
|
#46
|
Senior Member
Регистрация: 19.09.2009
Сообщений: 4,084
Бабло: $611825
|
Цитата:
Сообщение от blacks
надо заблочить доступ бота к хомпаге...
Disallow: /index.html
Disallow: /index.php
это сработает или поможет только вариант полной блокировки
Disallow: /
?
|
Лучше на главную страницу добавь:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Nofollow можешь убрать, если другие страницы на которые index.html ссылается
да и прав:
Цитата:
Сообщение от Final Fantasy
гуглу пох на роботс - проверенo
|
Поисковики обнаглели, я в robots.txt запретил индексацию корзины на шопе, гугл не лезет, а вот бинг прилично нагружает сервак. Ну пришлось ему принудительно sleep поставить в 2 секунды, ну и если совсем борзеет блокировать...
|
|
|
24.10.2012, 12:52
|
#47
|
Senior Member
Регистрация: 23.06.2008
Сообщений: 1,465
Бабло: $282970
|
бл.. мне для кое-какого бота надо закрыть доступ к хомпаге, для других же оставить, вариант либо закрывать весь домен полностью либо только индекс.хтмл, так вот еще раз спрашиваю, так проканает?
Disallow: /index.html
Disallow: /index.php
__________________
продам место для рекламы, контакты в ЛС
|
|
|
24.10.2012, 12:58
|
#48
|
Не ленись - ебанись!
Регистрация: 03.04.2009
Адрес: Эльфовая башня
Сообщений: 1,218
Бабло: $358586
|
Цитата:
Сообщение от blacks
бл.. мне для кое-какого бота надо закрыть доступ к хомпаге, для других же оставить, вариант либо закрывать весь домен полностью либо только индекс.хтмл, так вот еще раз спрашиваю, так проканает?
Disallow: /index.html
Disallow: /index.php
|
Diplomat же тебе кинул линк, проверь сам, и все станет ясно. Если структура у тебя вяжется на index.php (index.php?variable и т.д.), то хз, а если чпу, то проканает.
Кстати, Drg тебе толково написал, подумай насчет этого, если гарантировано надо скрыть пагу. Боты вообще охуели
|
|
|
24.10.2012, 13:11
|
#49
|
Senior Member
Регистрация: 19.09.2009
Сообщений: 4,084
Бабло: $611825
|
Цитата:
Сообщение от blacks
бл.. мне для кое-какого бота надо закрыть доступ к хомпаге, для других же оставить, вариант либо закрывать весь домен полностью либо только индекс.хтмл, так вот еще раз спрашиваю, так проканает?
Disallow: /index.html
Disallow: /index.php
|
Кое какого бота проще закрывать через .htaccess/httpd.conf по юзергаенту или по маске IP.
Цитата:
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
<FilesMatch "^.*$">
Order Allow,Deny
Allow from all
Deny from env=search_bot
</FilesMatch>
|
|
|
|
24.10.2012, 14:08
|
#50
|
Senior Member
Регистрация: 23.06.2008
Сообщений: 1,465
Бабло: $282970
|
Цитата:
Сообщение от DoctorFake
Diplomat же тебе кинул линк, проверь сам, и все станет ясно. Если структура у тебя вяжется на index.php (index.php?variable и т.д.), то хз, а если чпу, то проканает.
Кстати, Drg тебе толково написал, подумай насчет этого, если гарантировано надо скрыть пагу. Боты вообще охуели
|
ну вот да, у меня вяжется все через index.php...
Drg, сенкс насчет htaccess, попробую так еще
__________________
продам место для рекламы, контакты в ЛС
|
|
|
|