Воруют контент с сайтов

[NeTalant]

всем привет. не успевает мой сайт проиндексироваться свежезапущенный а с него уже контент на всякие доры спарсили украли. можно ли тут как то защищаться? кто что подсказать может?

заранее спасибо всем

[arle9]

Защитить контент можно.
1. Проанализируйте access логи сайта. Узнайте кто парсит сайты: user-agent / или ИП-подсети.
2. Заблокируйте их.
Блокировок есть множество, необходимо знать конкретную ситуацию у вас, чтобы порекомендовать удобную блокировку.

Чтобы дать более точный ответ, нужна дополнительная информация:
- Название сайта
- Нашли ли вы парсеров? Тогда их user-agent / ИП-подсети.
- На чем работает сайт? (пример: php-fpm/apache)
- Какой контент парсится (товары, картинки, текст и др)

Кроме блокировок, в Яндекс.Вебмастер есть возможность загружать контент до публикации в сеть.

[веломан]

если они уже спиздили контент, то поздно их блочить

[lawyer]

ещё можно пересыпать свой контент текстовыми ссылками на свой сайт. Разными копирайтами, и гипертекстовыми ссылками на первоисточник. Но это мало поможет в воровстве.

[Morgul]

Сообщение от Pla

Даст не даст... Из разряда погадаем?

ну если ты диванный эксперд - можешь погадать. А я тебе из своей практики говорю. Нифига тебе это не даст.

Сообщение от arle9

1. Проанализируйте access логи сайта. Узнайте кто парсит сайты: user-agent / или ИП-подсети.
2. Заблокируйте их.

а если грабер юзает кучу проксей? как тут лочить будешь?

Сообщение от lawyer

ещё можно пересыпать свой контент текстовыми ссылками на свой сайт. Разными копирайтами, и гипертекстовыми ссылками на первоисточник. Но это мало поможет в воровстве.

ссылки легко вырезаются.

[digg]

вычисли через сколько заходит грабер и выкладывай ему пустую стр или бредотекст, а через время обновляй страницу с правильным контентом

[lawyer]

Сообщение от Morgul

ну если ты диванный эксперд - можешь погадать. А я тебе из своей практики говорю. Нифига тебе это не даст.

а если грабер юзает кучу проксей? как тут лочить будешь?

ссылки легко вырезаются.

Да борьба за контент, на данный момент(из того что знаю), это борьба с ветряными мельницами. Сил уйдёт много а толку от действий практически никаких.

[Morgul]

Сообщение от lawyer

Да борьба за контент, на данный момент(из того что знаю), это борьба с ветряными мельницами. Сил уйдёт много а толку от действий практически никаких.

согласен с тобой. Тут скорее важно прокачивать сайт так, чтобы всегда перебивать весом те площадки куда будут тексты выкладываться. Ключевые страницы которые проседают из-за пиздинга дешевле просто отрерайтить. Возможно, cloudflare может слегка помочь, если там совсем агрессивные боты. По идее должен им мешать.

Вот еще вариант придумал на ходу - дать доступ только гуглу на какое-то время. Один фиг трафа с нуля не будет (если это не доры и не мега нч). Но это уже клоакинг и его тоже надо делать аккуратно )

[Scofield]

А что если использовать программный подход?
Например: на стороне сервера генерируем контент, тянем этот контент на нашу целевую страницу аяксом через яваскрипт, node.js с какими-то уникальными идентификаторами/алгоритмами, и отображаем на странице для ботов и юзеров сайта. То есть чтобы усложнить или сделать невозможным парсинг сайта?
Или в плане SEO такое не прокатит, не будут выдержаны стандарты разметки страницы, SEO оптимизации?

[PowerVPS]

Сообщение от Morgul

Вот еще вариант придумал на ходу - дать доступ только гуглу на какое-то время. Один фиг трафа с нуля не будет (если это не доры и не мега нч). Но это уже клоакинг и его тоже надо делать аккуратно )

Тогда лучше так. Не публиковать ссылки на новый контент. А сначала передавать ссылки на новый контент через xml карту сайта. Либо в webmaster есть функция добавить ссылку.
Вариант отследить по логам, не факт, может там прокси юзаются. И это ничего не даст.

[веломан]

Сообщение от Scofield

А что если использовать программный подход?
Например: на стороне сервера генерируем контент, тянем этот контент на нашу целевую страницу аяксом через яваскрипт, node.js с какими-то уникальными идентификаторами/алгоритмами, и отображаем на странице для ботов и юзеров сайта. То есть чтобы усложнить или сделать невозможным парсинг сайта?
Или в плане SEO такое не прокатит, не будут выдержаны стандарты разметки страницы, SEO оптимизации?

клоакинг и получится