Как защититься от парсинга? Результат Панда.

[yuross]

Такая история:

Начали мои сайты потихоньку вылетать с топа (Google USA) по не понятным причинам (были проверены все возможные причины).

Начал анализировать оказывается, что повылетали отдельные страницы. Беру куски текста в кавычки и в Google. И как оказалось, тексты были размещены на десятках сайта и не на просто сайта на ломаных сайтах вордпресса. Мой оригинал внизу или даже в соплях, а весь лом выше. Показатели (траст) ломаных сайтов намного выше моих сайтов.

Дальше смотрю на этих ломах еще траффа на такие страницы валом.
На моих сайтах пострадали (полный вылет с топ 100) только те страницы которые были спарсены.

Проанализировал конкурентов их же также спарсили, и они ушли вниз. В топе остались только супер трасты – тексты, которых также растаскались то они не упали, а стали еще выше.

Так что выходит, берем аукционный трастовый домен и размещаем на нем ворованный текст с топа (слабого сайта который в топе) и получаем топ? (а тот сайт вылетает).

Подозреваю, что на мои сайты пришла постраничная Панда.

Что делать, как в хтаксесе отсекать эти парсеры? Или есть другие варианты?

[number4]

Сообщение от веломан

т.е. без схемы из двух разнесённых серверов на хетцнер лучше не лезть?

не рекомендуется. у меня все хетцеровские сервера как бэкенды работают.
а всякие ГС лежат на фронтендах, которых не жалко вообще. Ну засуспендили аккаунт на хостинге, поднять выпавшие сайты в другом месте - дело получаса максимум.

Были у меня у абузы от хетцнера.. вообщем хетцнер банит сервер сразу, если приехала абуза на DMCA, ущерб ввиду пиратства или емейл спам. Если претензия к контенту или трояны/вирусы делают паразитный траф - не банят а дают сутки на разруливание.

[Hector]

Оставлю ссылку, вот чем защищаются обычно крупные сайты distilnetworks.com/block-bot-detection/