Защита от парсинга - КАК/ЧЕМ?

[Morgul]

Всем привет. Меня одолевает какой-то нехороший персонаж и активно пиздит мой контент и юзает его на пирогах.
Реально достал.

Может кто подскажет чем можно закрыться от парсинга?

Сейчас сайт на Cloudflare. Создал там несколько правил, кому можно попасть. Например, можно хорошим ботам (у cf есть видимо своя определялка хороших ботов) + юзерам пришедшим с гугла и с определенных стран.
Остальным блок.
Но вижу в пивике как пропарсили опять сайт (js исполняют). И чето не догоняю как они прошли фильтры, ибо реферера нет, к норм ботам IP тоже не относится.

Вообщем, есть ли какие-то доступные решения?

[Morgul]

Сообщение от Hector

Я вообще это имел ввиду, юзер может и не заметить ее https://developers.google.com/recaptcha/docs/invisible

а она работает? Отсеивает боты?

Сообщение от Hector

Элементарно с кеша гугла вытянут контент и на этом всё. Конечно можно запретить кешировать, это другой вопрос.

кэш можно запретить, тянуть будет не откуда.

Сообщение от Hector

Я вот сейчас делаю парсинг при помощи Selenium + Opera + opera vpn, и хрен ты меня заблочишь же, и каптчу разгадаю если нужно. Ты же не будешь банить юзера с Оперой? )))

ну почему же. у меня разрешены юзеры с гугла + определенные страны. Остальные нафиг. То есть напрямую зайти - уже блок. И вот тут что-то я не вкурил, ибо пивик показывает - был прямой заход, с USA ip. То есть реферер пустой, а значит уже не удовлетворяет моему фильтру.

я понимаю, что спарсить могут что угодно. Но хотелось бы тогда максимально усложнить эту задачу, чтобы чел переключился на что-то/кого-то другое.
Ну или меня специально топят, ибо у конкурентов хоть и тоже не уник контент, но там видно, что пиздят по-другому.

Сообщение от Ower

IP (гео, провайдер, подсети) + фингрепринт (частично, не все параметры).

да, кое-что побанил дополнительно. А по IP - ну их куча. Много европы, которой у меня нет. И еще разок - у меня тупо разрешены визиты с гугла + usa. Так что все остальные страны идут лесом.

[Shadrin]

[QUOTE=Morgul;1234677]

Сообщение от Hector

Я вообще это имел ввиду, юзер может и не заметить ее https://developers.google.com/recaptcha/docs/invisible

а она работает? Отсеивает боты?

У меня она выполняет защиту от проксирования(масс прокси и т д).

[Hector]

Сообщение от Shadrin

У меня она выполняет защиту от проксирования(масс прокси и т д).

Если не трудно распиши свой алгоритм.

[Shadrin]

Сообщение от Hector

Если не трудно распиши свой алгоритм.

Сначала юзер обращается к капче v3, если у нее подозрений нет, то он идет дальше, если она пускать не хочет кидает на v2 юзер "ищет сфетофоры". В скрипте настраивается скор на какой показывать v2. Просторе решение, с обилием доков от гугла прогер с руками такое быстро напишет.
Если поставить только v3 то если она пускать не захочет, пользователь уже не зайдет на сайт.Если захотят прокси поставить, то получат на своем домене "не валидный кей" от капчи
Гугл в исключениях стоит.

[Hector]

Shadrin, спасибо, ну а в базу данных что-то пишешь? Или в сессии просто хранишь?

[Shadrin]

сессия на сутки, бд лишнее(в моем случае)

[Heromant]

Посмотри в сторону stackpath.com не скажу, что 100% поможет, но функционал больше чем у CF как по мне. Есть Anti-Scraping.

[IDL]

Мне кажется бесполезно защищатся. Там банально генератор с нового пирога будет дёргать и всё.

[disqus]

Сообщение от Morgul

По сервисам - кто-нить юзал что-то такое именно для защиты от парсинга?

попробуй нанять какого-нибудь сис-админа по часам, пусть на сервере поставит все возможные защиты.
Как вариант перенеси на сервер, где администрирование бесплатно и попроси там помощи))
например к инферно , там работают хорошие специалисты, или к другим хостерам, типо pqcservice там норм пацанчики

[Dor]

Сообщение от IDL

Мне кажется бесполезно защищатся. Там банально генератор с нового пирога будет дёргать и всё.

да, очень сложно...
когда ресурс находится в топе ко каким то популярным кеям, то доргены от разных людей парсят его с разных айпих...

Morgul, у тебя много сайтов или с одного большого сайты тырят?
Если большой сайт, то может раз когда-то спарсили и теперь юзают ...