Защита от парсинга - КАК/ЧЕМ?

[Morgul]

Всем привет. Меня одолевает какой-то нехороший персонаж и активно пиздит мой контент и юзает его на пирогах.
Реально достал.

Может кто подскажет чем можно закрыться от парсинга?

Сейчас сайт на Cloudflare. Создал там несколько правил, кому можно попасть. Например, можно хорошим ботам (у cf есть видимо своя определялка хороших ботов) + юзерам пришедшим с гугла и с определенных стран.
Остальным блок.
Но вижу в пивике как пропарсили опять сайт (js исполняют). И чето не догоняю как они прошли фильтры, ибо реферера нет, к норм ботам IP тоже не относится.

Вообщем, есть ли какие-то доступные решения?

[IDL]

Что такое парсинг ? Это не ддос, это просто какой-то заход с одного ip и единовременное дёргание контента. Как можно от такого защититься ?

Вопрос больше к гуглу: какой хуя ?

[baadf00d]

ТС, ты намекни что за сайт, может кто-то из местных его и парсит? Мы, например
А так, поднять инстанс на амазоне + разгадать зонтики от CF стоит не более цента за сессию. Если твой контент того стоит - то хрен как защитишься. Можно еще селениум палить, но это тоже обходят без проблем.

[Morgul]

Сообщение от Heromant

Посмотри в сторону stackpath.com не скажу, что 100% поможет, но функционал больше чем у CF как по мне. Есть Anti-Scraping.

Спасибо, гляну.

Сообщение от Dor

Morgul, у тебя много сайтов или с одного большого сайты тырят?
Если большой сайт, то может раз когда-то спарсили и теперь юзают ...

1 сайт. Вообще-то даже небольшой. Просто был топ1 по норм кеям до майского апа. Но ахрефс видит, что проксировать начали с начала июня, когда сайт уже просел после апдейта.
Видимо, это именно проксирование (я может немноо путаюсь в терминах), ибо тестово меняю тайтл и через ахрефс очень быстро я увидел, что он обновился на пироге. В гугле в кэше старый тайтл на пироге еще был.

Сообщение от IDL

Как можно от такого защититься ?

Ну смотри. Было ОЧЕНЬ много запросов с европы. Я ее забанил ВСЮ. С USA можно зайти, если реф - гугл. Тут да. Но пивик показывал именно прямой заход с юса ip.
И там в UA было, что это linux. Его тоже побанил. Понятно, что при желании все это обходится - подстроиться под юзера, который заходит с гугла с us ip с айфона и как тогда банить? Хз. Но тогда челу надо в этом сидеть разбираться и главное непонятно зачем меня парсить, одно и то же (контент неуник давно уже). Я уже не обновляю сайт ессно, дабы не дарить бесплатно контент

Сообщение от baadf00d

+ разгадать зонтики от CF стоит не более цента за сессию.

слушай, я капчу даже уже отключил. Она была сначала, но потом я решил просто поставить лок. То есть CF вообще не отдает сайт если не проходишь условию. Чуть выше я описал кто проходит.

Сообщение от baadf00d

Если твой контент того стоит - то хрен как защитишься.

блять ну и что с этим делать?

[pokies]

если проксируют через доллисити поставь fastest-cache, на копии шаблон развалится

[Heromant]

Как вариант, просто получать пользу вживи в контент свои ссылки или текстовое упоминание. Пусть цитирует хотя бы Понимаю, что толку мало, но вдруг

У меня тоже с прокси одно время тырили и делали доры, я нашёл владельца, написал ему, но толку то?

[pokies]

Сообщение от Heromant

Как вариант, просто получать пользу вживи в контент свои ссылки или текстовое упоминание

на лету это меняется на свой домен)

[Dr.Gonzo]

Сообщение от Heromant

У меня тоже с прокси одно время тырили и делали доры, я нашёл владельца, написал ему, но толку то?

А нужно было пальцы ломать)

[pokies]

bitninja.io отправляет хостеру клона официальную бумагу что скоро ему придет пизда, потому что его сайты заражены ботнетом, парсят все подряд и вообще недалеко до войны с омерикой. редкий хостер устоит.

[DF™]

Вообще неплохо бы увидеть, какой сайт парсится и куда выкладывается, тогда проще было бы давать конкретные советы.
А то уже все варианты перебрали)

[Judge_Dredd]

Сообщение от Hector

Я вообще это имел ввиду, юзер может и не заметить ее https://developers.google.com/recaptcha/docs/invisible
Так или иначе нет 100% метода против парсинга. Элементарно с кеша гугла вытянут контент и на этом всё. Конечно можно запретить кешировать, это другой вопрос.
Я вот сейчас делаю парсинг при помощи Selenium + Opera + opera vpn, и хрен ты меня заблочишь же, и каптчу разгадаю если нужно. Ты же не будешь банить юзера с Оперой? )))

Что у меня реализовано на 2х проектах. Это таблица с запросами, счетчики, ловушки на ботов, капчту разгадали или нет, блокировка всяких hetzner и прочих, проверка на SE ботов, при превышении порога выбивает каптча. Но при этом периодически приходится банить целые подсети и причем сайты мои за клаудом. Головняк страшный. Я понимаю что более менее толковый прогер все равно спарсит если ему будет сильно нужно Но он потратит на это время и деньги.

Ну маловероятно, что кто то будет заниматься таким ,даже под заказ.