Как защититься от парсинга? Результат Панда.

[yuross]

Такая история:

Начали мои сайты потихоньку вылетать с топа (Google USA) по не понятным причинам (были проверены все возможные причины).

Начал анализировать оказывается, что повылетали отдельные страницы. Беру куски текста в кавычки и в Google. И как оказалось, тексты были размещены на десятках сайта и не на просто сайта на ломаных сайтах вордпресса. Мой оригинал внизу или даже в соплях, а весь лом выше. Показатели (траст) ломаных сайтов намного выше моих сайтов.

Дальше смотрю на этих ломах еще траффа на такие страницы валом.
На моих сайтах пострадали (полный вылет с топ 100) только те страницы которые были спарсены.

Проанализировал конкурентов их же также спарсили, и они ушли вниз. В топе остались только супер трасты – тексты, которых также растаскались то они не упали, а стали еще выше.

Так что выходит, берем аукционный трастовый домен и размещаем на нем ворованный текст с топа (слабого сайта который в топе) и получаем топ? (а тот сайт вылетает).

Подозреваю, что на мои сайты пришла постраничная Панда.

Что делать, как в хтаксесе отсекать эти парсеры? Или есть другие варианты?

[IDL]

А непонято вообще как
гугл долбоёб
у меня какой-то форум запроксировал и сайт улетел из топа
при этом в реалтайме всё кэшат

Мы, как вариант, будем пробовать менять текст и ip тех сайтов лочить, либо подсети их. Только так потихоньку

[Hector]

Быстрый вариант - прятать за клауд с ддос защитой, большой процент ботов отвалится. Поисковики нормально на это реагируют.

Медленный - банить подсети популярных серверных локаций, либо ручной бан по айпи. Писать софт который анализирует траф и отсекает наглых ботов.

Слать DMCA абузы на сайты которые спарсили. И вообще жалобы в гугл.

Однако против хитрых парсеров с хорошими проксями ничего не сделать увы.

[blacks]

Сообщение от Hector

Быстрый вариант - прятать за клауд с ддос защитой, большой процент ботов отвалится. Поисковики нормально на это реагируют.

подскажи де почитать про это

[HereIsAds]

Сообщение от blacks

подскажи де почитать про это

cloudflare.com - там в хелпе можно почитать

[Hector]

blacks, просто включаешь i'm under attack, их анализатор на базе JS смотрит браузер юзера и принимает решение.

[Svift]

А гугловцы божатся, что научились лучше ранжировать первоисточники

Мы обновили алгоритмы ранжирования и внесли изменения в Руководство для асессоров, чтобы научиться лучше распознавать первоисточники, лучше отображать их в Поиске и обеспечить им более долгое пребывание в выдаче. Это означает, что читатели, интересующиеся последними новостями, могут найти историю, с которой все началось, а создатели оригинального контента получить больше просмотров

вот оригинальный пресс-релиз:

Recently, we’ve made ranking updates and published changes to our search rater guidelines to help us better recognize original reporting, surface it more prominently in Search and ensure it stays there longer. This means readers interested in the latest news can find the story that started it all, and publishers can benefit from having their original reporting more widely seen.

https://www.blog.google/products/sea...nal-reporting/

[Lanhost]

Как вариант, посмотреть в логах кто парсит и блочить IP адреса через htaccess.
Ботов в логах сразу видно.
Трудоёмкий конечно процесс, но помогает.
Надеяться на то, что гугу пошевелится, вряд ли. На яндексе такие сайты быстро отсекают, а вот гугу, ни гугу.

[IDL]

Svift, а что они должны были сказать ? Что обосрались ? Это вообще дикая вещь: чем выше в топе, тем больше проблем

[blacks]

Сообщение от Hector

blacks, просто включаешь i'm under attack, их анализатор на базе JS смотрит браузер юзера и принимает решение.

я думал можно это все в автоматич режиме сделать, или i'm under attack оставить и всё?)