Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB58.6120
BTC/USD0.0000
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 29.03.2014, 14:32   #1
den2099
Senior Member
 
Аватар для den2099
 
Регистрация: 25.06.2011
Сообщений: 1,405
Бабло: $288050
По умолчанию контент закрытый для индексирования в robots.txt

не помню, обсуждалось ли или нет:
является ли контент закрытый для индексирования в robots.txt уникальным для поисковика?
если у меня часть контента закрыта для индексации, а кто-то спаршивает закрытый раздел и вывешивает к себе. будет ли такой контент уникальным?
den2099 вне форума  
Старый 29.03.2014, 14:45   #2
Крушу Ебала
Senior Member
 
Аватар для Крушу Ебала
 
Регистрация: 13.02.2011
Сообщений: 4,720
Бабло: $1134400
По умолчанию

Если твой ни разу не индексировался, то да, будет уникальным.
Можешь сам загуглить часть материала и посмотреть, что в выдаче будет.
Крушу Ебала вне форума  
Старый 29.03.2014, 15:40   #3
D007
саловер
 
Аватар для D007
 
Регистрация: 17.04.2007
Сообщений: 3,137
Бабло: $281155
Отправить сообщение для D007 с помощью ICQ
По умолчанию

гугл на роботс ложит
так что полагаться на него крайне неосмотрительно
D007 вне форума  
Старый 30.03.2014, 15:00   #4
malawar
Ебланнед
 
Регистрация: 11.02.2014
Сообщений: 210
Бабло: $44985
По умолчанию

+1 Гуглу довольно часто бывает похер на Робост, хотя хз, по разному бывает
malawar вне форума  
Старый 30.03.2014, 17:50   #5
[email protected]
Senior Member
 
Регистрация: 05.11.2010
Сообщений: 331
Бабло: $55180
По умолчанию

делал эксперимент пару лет назад:
на живом сайте сделал раздел, закрыл его роботсом,
в разделе сделал пару страниц с уником и ссылками на вручную
сделанные страницы в корне сайта (которые гугл физически не смог бы увидеть).
Итог:
гугл схавал страницы на которые были ссылки с раздела закрытого роботсом и поставил их в выдачу.
страницы закрытого раздела он явно проиндексировал, но в выдачу не поставил...
Как то так...
Получается что лазить то бот лазиет по всему что найдет на сайте,
но если в роботсе закрыт контент, то в выдачу он не попадает.

P.S. На некоторые страницы стояли прямые ссылки, на другие страницы ссылки были в текстовом варианте.
В выдачу попали все страницы, из этого вывод что закрытый роботсом контент тоже индексируется гуглом.

Последний раз редактировалось [email protected]; 30.03.2014 в 18:01.
Mori@rty на форуме  
Старый 30.03.2014, 20:51   #6
digg
$400
 
Аватар для digg
 
Регистрация: 17.05.2009
Сообщений: 7,999
Бабло: $1215360
Отправить сообщение для digg с помощью ICQ
По умолчанию

логично, роботс просто регламентирует поисковику какие страницы вебмастер не хочет отображать в результатах поиска
и это не значит, что бот не сохранит информацию из них к себе в базу

другое дело, что если на другом сайте появится контент скрытый роботсом и сохраненный ранее в базе, но открытый для отображения в результатах поиска и по какому-то запросу этот контент с точки зрения алгоритма окажется наиболее релевантным, то я думаю, что поисковик выдаст его юзеру

примерно то же, когда берешь строку из какого-то текста, который много сайтов скопипастили и в результатах идет список всех этих сайтов, но первоисточник на первом месте

то в этом случае первоисточник по своей воле отказался отображаться в результатах поиска и на первом месте будет сайт с копипастом следующий из списка
digg вне форума  
Старый 30.03.2014, 21:44   #7
tpe3egol
Лифт вниз не поднимает
 
Аватар для tpe3egol
 
Регистрация: 12.09.2013
Адрес: Одесса
Сообщений: 72
Бабло: $12245
По умолчанию

[email protected], digg, Благодарю, за очень полезные, на мой взгляд комменты!
tpe3egol вне форума  
Старый 31.03.2014, 20:48   #8
allmaster
Юниор
 
Регистрация: 29.03.2014
Сообщений: 12
Бабло: $2475
По умолчанию

Проверено. Контент со страниц закрытых в роботсе влетает в индекс и яндекса и гугла.
Для теста брал описание интернет магазина, которое на самом им было закрыто в роботсе.
allmaster вне форума