Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB59.2180
BTC/USD0.0000
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 23.09.2015, 17:34   #1
OXPEHETb
Разгильдяй
 
Регистрация: 13.07.2010
Сообщений: 65
Бабло: $21390
Question Как частично закрыть сайт от индексации?

Попробую описать суть
Есть сайт.
Необходимо, чтобы пользователи и боты видели и могли попасть на URL типа:

domen.com/info/inside/
domen.com/info/page/
domen.com/info/lookthis/

Но дальше, зайти не могли. Т.е. адреса типа

domen.com/info/inside/123/
domen.com/info/page/rakadil/
domen.com/info/lookthis/kartinki/siski/shemale/

не были доступны.

Как такое лучше реализовать?

Думал при помощи robots.txt вот такое прописать, но правильно ли это будет?
User-agent: *
Allow: /info/*/
Disallow: /info/*/*

Последний раз редактировалось OXPEHETb; 23.09.2015 в 17:42. Причина: Кой-чо добавил
OXPEHETb вне форума  
Старый 23.09.2015, 17:50   #2
ivy
Senior Member
 
Регистрация: 09.06.2015
Сообщений: 969
Бабло: $135440
По умолчанию

$
https://yandex.ru/support/webmaster/...sterisk-dollar

Гугл тоже должен поддерживать. Это если про robots.
Но что ты имеешь ввиду под
Цитата:
не были доступны.
?
тут robots.txt не поможет, надо правилами для веб сервера закрывать (.htaccess)
ivy вне форума  
Старый 23.09.2015, 17:56   #3
OXPEHETb
Разгильдяй
 
Регистрация: 13.07.2010
Сообщений: 65
Бабло: $21390
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от ivy Посмотреть сообщение
$
https://yandex.ru/support/webmaster/...sterisk-dollar

Гугл тоже должен поддерживать. Это если про robots.
Но что ты имеешь ввиду под ?
тут robots.txt не поможет, надо правилами для веб сервера закрывать (.htaccess)
Вот я мануал яши читал, но чет не догнал как правильно.

Вообще на самом сайте прямых ссылок на внутренние страницы нет, поэтому если их закрыть от индексации, не думаю, что траф туда попадет. В идеале, конечно полностью закрыть, но с htaccessом баловаться очкую малость.
OXPEHETb вне форума  
Старый 23.09.2015, 18:16   #4
alter13
В дурке выходные
 
Аватар для alter13
 
Регистрация: 09.09.2014
Сообщений: 1,354
Бабло: $183435
По умолчанию

с /kartinki/siski/shemale/ не очкуешь, а с htaccess очкуешь? Непорядок!
Чего там очковать? прописал правила и пздц... не работают - поменял.
alter13 вне форума  
Старый 23.09.2015, 19:14   #5
Adrenalin
adrenalin.name
 
Регистрация: 03.05.2015
Сообщений: 81
Бабло: $12180
По умолчанию

Цитата:
Сообщение от alter13
Чего там очковать? прописал правила и пздц... не работают - поменял.
Это надо делать, а тут запостил на форуме топик и жди готовых ответов.
__________________
Не пью, не курю, не ругаюсь матом. При слове "жопа" падаю в обморок.
Adrenalin вне форума  
Старый 24.09.2015, 15:43   #6
Netex-me
Юниор
 
Регистрация: 01.09.2015
Сообщений: 11
Бабло: $4030
По умолчанию

Да, в robots.txt можно закрыть только индексацию страниц поисковыми роботами, но страницы все равно могут попасть в поиск, и на них сможет зайти клиент. Поэтому нужно понимать, что запрет доступа клиентам и запрет индексации роботам - совершенно разные и никак не связанные понятия.

Вот рук-во по разграничению доступа, надеюсь, поможет: http://htaccess.net.ru/doc/htaccess/order.php
Netex-me вне форума