|
| Дата |
|
USD/RUB | 89.7026 | BTC/USD | 67831.0975 |
|
|
|
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии. |
14.07.2020, 00:36
|
Start Post: Защита от парсинга - КАК/ЧЕМ?
|
Senior Member
Регистрация: 03.10.2010
Сообщений: 1,712
Бабло: $296955
|
Всем привет. Меня одолевает какой-то нехороший персонаж и активно пиздит мой контент и юзает его на пирогах.
Реально достал.
Может кто подскажет чем можно закрыться от парсинга?
Сейчас сайт на Cloudflare. Создал там несколько правил, кому можно попасть. Например, можно хорошим ботам (у cf есть видимо своя определялка хороших ботов) + юзерам пришедшим с гугла и с определенных стран.
Остальным блок.
Но вижу в пивике как пропарсили опять сайт (js исполняют). И чето не догоняю как они прошли фильтры, ибо реферера нет, к норм ботам IP тоже не относится.
Вообщем, есть ли какие-то доступные решения?
|
|
|
14.07.2020, 16:37
|
#12
|
Senior Member
Регистрация: 03.10.2010
Сообщений: 1,712
Бабло: $296955
ТС -->
|
ТС
а она работает? Отсеивает боты?
Цитата:
Сообщение от Hector
Элементарно с кеша гугла вытянут контент и на этом всё. Конечно можно запретить кешировать, это другой вопрос.
|
кэш можно запретить, тянуть будет не откуда.
Цитата:
Сообщение от Hector
Я вот сейчас делаю парсинг при помощи Selenium + Opera + opera vpn, и хрен ты меня заблочишь же, и каптчу разгадаю если нужно. Ты же не будешь банить юзера с Оперой? )))
|
ну почему же. у меня разрешены юзеры с гугла + определенные страны. Остальные нафиг. То есть напрямую зайти - уже блок. И вот тут что-то я не вкурил, ибо пивик показывает - был прямой заход, с USA ip. То есть реферер пустой, а значит уже не удовлетворяет моему фильтру.
я понимаю, что спарсить могут что угодно. Но хотелось бы тогда максимально усложнить эту задачу, чтобы чел переключился на что-то/кого-то другое.
Ну или меня специально топят, ибо у конкурентов хоть и тоже не уник контент, но там видно, что пиздят по-другому.
Цитата:
Сообщение от Ower
IP (гео, провайдер, подсети) + фингрепринт (частично, не все параметры).
|
да, кое-что побанил дополнительно. А по IP - ну их куча. Много европы, которой у меня нет. И еще разок - у меня тупо разрешены визиты с гугла + usa. Так что все остальные страны идут лесом.
|
|
|
14.07.2020, 16:43
|
#13
|
.
Регистрация: 06.12.2009
Сообщений: 70
Бабло: $19540
|
[QUOTE=Morgul;1234677] а она работает? Отсеивает боты?
У меня она выполняет защиту от проксирования(масс прокси и т д).
|
|
|
14.07.2020, 17:39
|
#14
|
hustle
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
|
Цитата:
Сообщение от Shadrin
У меня она выполняет защиту от проксирования(масс прокси и т д).
|
Если не трудно распиши свой алгоритм.
|
|
|
14.07.2020, 18:06
|
#15
|
.
Регистрация: 06.12.2009
Сообщений: 70
Бабло: $19540
|
Цитата:
Сообщение от Hector
Цитата:
Сообщение от Shadrin
У меня она выполняет защиту от проксирования(масс прокси и т д).
|
Если не трудно распиши свой алгоритм.
|
Сначала юзер обращается к капче v3, если у нее подозрений нет, то он идет дальше, если она пускать не хочет кидает на v2 юзер "ищет сфетофоры". В скрипте настраивается скор на какой показывать v2. Просторе решение, с обилием доков от гугла прогер с руками такое быстро напишет.
Если поставить только v3 то если она пускать не захочет, пользователь уже не зайдет на сайт.Если захотят прокси поставить, то получат на своем домене "не валидный кей" от капчи
Гугл в исключениях стоит.
|
|
|
14.07.2020, 18:12
|
#16
|
hustle
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
|
Shadrin, спасибо, ну а в базу данных что-то пишешь? Или в сессии просто хранишь?
|
|
|
14.07.2020, 18:24
|
#17
|
.
Регистрация: 06.12.2009
Сообщений: 70
Бабло: $19540
|
сессия на сутки, бд лишнее(в моем случае)
|
|
|
15.07.2020, 06:54
|
#18
|
Мне платит
Регистрация: 24.10.2008
Сообщений: 1,368
Бабло: $189453
|
Посмотри в сторону stackpath.com не скажу, что 100% поможет, но функционал больше чем у CF как по мне. Есть Anti-Scraping.
|
|
|
15.07.2020, 07:54
|
#19
|
Senior Member
Регистрация: 26.04.2014
Сообщений: 9,269
Бабло: $1189185
|
Мне кажется бесполезно защищатся. Там банально генератор с нового пирога будет дёргать и всё.
__________________
Ахуенный КОНВЕРТ ФАРМЫ WORLDWIDE. забираем свежие инвайты на http://myinvites.xyz/ - Visa + MC. +50% в первую неделю.
|
|
|
15.07.2020, 10:32
|
#20
|
Senior Member
Регистрация: 29.08.2016
Сообщений: 1,616
Бабло: $323550
|
Цитата:
Сообщение от Morgul
По сервисам - кто-нить юзал что-то такое именно для защиты от парсинга?
|
попробуй нанять какого-нибудь сис-админа по часам, пусть на сервере поставит все возможные защиты.
Как вариант перенеси на сервер, где администрирование бесплатно и попроси там помощи))
например к инферно , там работают хорошие специалисты, или к другим хостерам, типо pqcservice там норм пацанчики
|
|
|
15.07.2020, 12:07
|
#21
|
Senior Member
Регистрация: 24.01.2013
Сообщений: 1,564
Бабло: $213705
|
Цитата:
Сообщение от IDL
Мне кажется бесполезно защищатся. Там банально генератор с нового пирога будет дёргать и всё.
|
да, очень сложно...
когда ресурс находится в топе ко каким то популярным кеям, то доргены от разных людей парсят его с разных айпих...
Morgul, у тебя много сайтов или с одного большого сайты тырят?
Если большой сайт, то может раз когда-то спарсили и теперь юзают ...
|
|
|
|