Защита от парсинга - КАК/ЧЕМ? - Форум успешных вебмастеров - GoFuckBiz.com - Страница 7
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB90.2486
BTC/USD69154.3300
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 14.07.2020, 00:36
Start Post: Защита от парсинга - КАК/ЧЕМ? 
  #61
Morgul
Senior Member
 
Аватар для Morgul
 
Регистрация: 03.10.2010
Сообщений: 1,712
Бабло: $296955
По умолчанию

Всем привет. Меня одолевает какой-то нехороший персонаж и активно пиздит мой контент и юзает его на пирогах.
Реально достал.

Может кто подскажет чем можно закрыться от парсинга?

Сейчас сайт на Cloudflare. Создал там несколько правил, кому можно попасть. Например, можно хорошим ботам (у cf есть видимо своя определялка хороших ботов) + юзерам пришедшим с гугла и с определенных стран.
Остальным блок.
Но вижу в пивике как пропарсили опять сайт (js исполняют). И чето не догоняю как они прошли фильтры, ибо реферера нет, к норм ботам IP тоже не относится.

Вообщем, есть ли какие-то доступные решения?
Morgul вне форума  
Старый 07.08.2020, 17:30   #62
веломан
сыроед
 
Аватар для веломан
 
Регистрация: 01.10.2015
Сообщений: 15,878
Бабло: $1862995
По умолчанию

вариант, только надо будет сразу 2 варианта текста в БД держать
веломан вне форума  
Старый 07.08.2020, 18:49   #63
веломан
сыроед
 
Аватар для веломан
 
Регистрация: 01.10.2015
Сообщений: 15,878
Бабло: $1862995
По умолчанию

а ещё гугл это за клоаку может принять
веломан вне форума  
Старый 06.09.2020, 00:25   #64
viper99
Member
 
Аватар для viper99
 
Регистрация: 10.08.2020
Сообщений: 34
Бабло: $5670
По умолчанию

Есть такая идея, найти аналогию в серверах с которых идет парсинг, и по этому тригеру тупо блокировать через iptables. Например сервера отвечают на пинг, или имеют открытый специфический порт, или еще что. Затем скриптом анализировать логи, проверять IP которые отправили Х запросов на наличие тригера, блокировать. Все это можно сделать одним скриптом.

PS как я понял, банальная проверка кук в nginx не поможет
__________________
Выделенные сервера для masscan, bruteforce, 900 kpps, 1 gbit\s, от 199$ dsxh24
viper99 вне форума