контент закрытый для индексирования в robots.txt

[den2099]

не помню, обсуждалось ли или нет:
является ли контент закрытый для индексирования в robots.txt уникальным для поисковика?
если у меня часть контента закрыта для индексации, а кто-то спаршивает закрытый раздел и вывешивает к себе. будет ли такой контент уникальным?

[Крушу Ебала]

Если твой ни разу не индексировался, то да, будет уникальным.
Можешь сам загуглить часть материала и посмотреть, что в выдаче будет.

[D007]

гугл на роботс ложит
так что полагаться на него крайне неосмотрительно

[malawar]

+1 Гуглу довольно часто бывает похер на Робост, хотя хз, по разному бывает

[Mori@rty]

делал эксперимент пару лет назад:
на живом сайте сделал раздел, закрыл его роботсом,
в разделе сделал пару страниц с уником и ссылками на вручную
сделанные страницы в корне сайта (которые гугл физически не смог бы увидеть).
Итог:
гугл схавал страницы на которые были ссылки с раздела закрытого роботсом и поставил их в выдачу.
страницы закрытого раздела он явно проиндексировал, но в выдачу не поставил...
Как то так...
Получается что лазить то бот лазиет по всему что найдет на сайте,
но если в роботсе закрыт контент, то в выдачу он не попадает.

P.S. На некоторые страницы стояли прямые ссылки, на другие страницы ссылки были в текстовом варианте.
В выдачу попали все страницы, из этого вывод что закрытый роботсом контент тоже индексируется гуглом.

[digg]

логично, роботс просто регламентирует поисковику какие страницы вебмастер не хочет отображать в результатах поиска
и это не значит, что бот не сохранит информацию из них к себе в базу

другое дело, что если на другом сайте появится контент скрытый роботсом и сохраненный ранее в базе, но открытый для отображения в результатах поиска и по какому-то запросу этот контент с точки зрения алгоритма окажется наиболее релевантным, то я думаю, что поисковик выдаст его юзеру

примерно то же, когда берешь строку из какого-то текста, который много сайтов скопипастили и в результатах идет список всех этих сайтов, но первоисточник на первом месте

то в этом случае первоисточник по своей воле отказался отображаться в результатах поиска и на первом месте будет сайт с копипастом следующий из списка

[tpe3egol]

Mori@rty, digg, Благодарю, за очень полезные, на мой взгляд комменты!

[allmaster]

Проверено. Контент со страниц закрытых в роботсе влетает в индекс и яндекса и гугла.
Для теста брал описание интернет магазина, которое на самом им было закрыто в роботсе.