|
|
| | Дата |
|
| USD/RUB | 90.2486 | | BTC/USD | 69068.1463 |
|
|
|
| Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д. |
13.12.2011, 15:40
|
Start Post: Какие могут быть проблемы при закрытии индексации в robots.txt 
|
|
Member
Регистрация: 06.11.2009
Сообщений: 509
Бабло: $110830
|
Добрый день 
Решил на блоге закрыть индексацию тегов, page(навигация) и search для поднятия веса самих страниц, и избежания дублирования контента на сайте...
Как ПС относятся к таким изменениям? (на сайте большое кол-во тегов и страниц ~2к)
Блог на WordPress при запросе site:mysite.com таги и навигация по сайту (page) на первых страницах в выдаче...
Гугл начал индексить только страницы без тагов (то, чего я и добивался)
Был ли у кого опыт закрытия индексации на сайте, сколько времени ждать переиндекса сайта? Ждать ли каких нибудь фильтров или санкций со стороны ПС? |
|
|
|
13.12.2011, 22:33
|
#12
|
|
gofuckingoogle
Регистрация: 28.08.2008
Адрес: 666
Сообщений: 9,443
Бабло: $1278665
|
Цитата:
Сообщение от chesser
тем не менее они очень много пишут об этом в своем сео-блоге, именно про дубль-контент и как его избегать. Про навигационные страницы типа pages там отдельная топик есть, надо делать соответсвующую html разметку
|
В теории то понятно, но лично я сколько экспериментировал - не заметил никакой разницы по позициям и трафу. |
|
|
|
|
13.12.2011, 22:48
|
#13
|
|
автоматизирую интернеты
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
|
Цитата:
Сообщение от mamba
chesser, поясни плиз своими словами) вместо пруфа.
Я под оптимизацией вордпресса понимаю -
на постовых страницах контента, сам контент по коду идет первым. Всю шушеру категорную, таги, архивы в роботсе закрываем.
|
ну все правильно ты делаешь. Только страницы с pagination также имеют контент, причем он дублицируется, пусть не куски дублируются, но все равно дубли. Для этого гугл недавно ввел специальную технику разметки страниц через rel:
http://googlewebmastercentral.blogsp...h-results.html
http://googlewebmastercentral.blogsp...d-relprev.html
ну может немного не в тему, но вроде в тему  |
|
|
|
|
13.12.2011, 22:51
|
#14
|
|
автоматизирую интернеты
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
|
кстати зря в оффтоп закрыл, очень полезный совет. я недавно попался на это, долго думал почему адсенсовский бот дает ошибку, а в wmt все окей.
для адсенса надо отдельно прописывать:
Цитата:
User-agent: Mediapartners-Google*
Disallow:
|
иначе будут валить ошибки индексации и реклама блоков будет нерелевантна странице |
|
|
|
|
13.12.2011, 23:41
|
#15
|
|
jaros
Регистрация: 10.05.2009
Адрес: Киев
Сообщений: 1,498
Бабло: $221845
|
кто подскажет, стоит ли закрывать эти страницы(теги/пагинации/etc) если сайту около двух лет?Можно ли за это фильтр отхватить?
как раз проблема в том, что вес неправильно распределился...
|
|
|
|
|
13.12.2011, 23:52
|
#16
|
|
Особый статус
Регистрация: 04.06.2008
Сообщений: 233
Бабло: $31000
|
Цитата:
Сообщение от chesser
кстати зря в оффтоп закрыл, очень полезный совет. я недавно попался на это, долго думал почему адсенсовский бот дает ошибку, а в wmt все окей.
для адсенса надо отдельно прописывать
иначе будут валить ошибки индексации и реклама блоков будет нерелевантна странице
|
Ну, посчитал, что это больше оффтоп, не факт, что Adsense актуален для ТС.
У меня кстати, кодом, что ты запостил не получилось в свое время сделать как надо, в итоге пока раздельно не прописал ботов - ничего не помогло... Либо все блочит, либо все открывает... хз )
А вот такое сразу заработало! Just in case 
PHP код:
User-agent: Mediapartners-Google*
Disallow:
User-agent: Googlebot
Disallow: /tag/
__________________
|
|
|
|
|
13.12.2011, 23:59
|
#17
|
|
Member
Регистрация: 06.11.2009
Сообщений: 509
Бабло: $110830
-->
|
ТС
Разве если просто прописать
PHP код:
Disallow: /page/*
Disallow: /tag/*
Disallow: /search
Не покатит? Обязательно нужно ботов прописывать? |
|
|
|
|
14.12.2011, 00:36
|
#18
|
|
Особый статус
Регистрация: 04.06.2008
Сообщений: 233
Бабло: $31000
|
Цитата:
Сообщение от Blanc
Разве если просто прописать
PHP код:
Disallow: /page/*
Disallow: /tag/*
Disallow: /search
Не покатит? Обязательно нужно ботов прописывать? |
Если в роботс будут ТОЛЬКО эти 3 строчки - покатит, Google их индексить не будет, но и на всех этих страницах AdSense показываться тоже не будет! Можешь попробовать ) Ну, опять же, это важно, если только AdSense необходим (актуален)!
__________________
|
|
|
|
|
14.12.2011, 00:39
|
#19
|
|
Member
Регистрация: 06.11.2009
Сообщений: 509
Бабло: $110830
-->
|
ТС
Цитата:
Сообщение от gaseo
Если в роботс будут ТОЛЬКО эти 3 строчки - покатит, Google их индексить не будет, но и на всех этих страницах AdSense показываться тоже не будет! Можешь попробовать )
|
Адсенс на том сайте вряд ли когда либо будет существовать)) |
|
|
|
|
14.12.2011, 00:41
|
#20
|
|
Особый статус
Регистрация: 04.06.2008
Сообщений: 233
Бабло: $31000
|
Цитата:
Сообщение от Blanc
Адсенс на том сайте вряд ли когда либо будет существовать))
|
угу, я дописал уточнение...
Значит этого вполне достаточно будет
PHP код:
User-agent: *
Disallow: /page/
Disallow: /tag/
Disallow: /search
__________________
|
|
|
|
|
14.12.2011, 00:47
|
#21
|
|
Member
Регистрация: 06.11.2009
Сообщений: 509
Бабло: $110830
-->
|
ТС
Цитата:
Сообщение от gaseo
угу, я дописал уточнение...
Значит этого вполне достаточно будет
PHP код:
User-agent: *
Disallow: /page/
Disallow: /tag/
Disallow: /search
|
Вот поболее список...
Нашел недавно:
PHP код:
User-agent: *
Allow: /
Disallow: */comments*
Disallow: /search
Disallow: /?s=*
Disallow: /author/*
Disallow: /tag/*
Disallow: /trackback
Disallow: /20*/*
Disallow: /page/*
Disallow: /comment-page*
Disallow: /*?replytocom*
|
|
|
|
|
Линейный вид
