Кто этот сотона и что с ним делать? - Форум успешных вебмастеров - GoFuckBiz.com - Страница 2
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB90.1887
BTC/USD68079.5550
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 11.02.2023, 09:06
Start Post: Кто этот сотона и что с ним делать? 
  #11
DimaX
Senior Member
 
Регистрация: 19.04.2007
Сообщений: 2,393
Бабло: $314345
По умолчанию

На один из моих полностью бесплатных онлайн сервисов повадился ходить какой-то тип, который парсит результаты работы сервиса в гигантских масштабах.

Проблема в том, что для работы сервиса юзаются квоты апи ютуба, а они, мягко говоря, не безлимитные, и если их обычно нормально хватает для адекватных юзеров, то когда наваливаются парсеры этого чувака, суточная квота заканчивается буквально за пару часов и пиздец всему сервису.

Сейчас ситуация такая.

Чисто из-за этого одного чувака пришлось прикрутить к сервису рекапчу Гугла - его это остановило на время, но теперь он без проблем шлет успешную рекапчу в многопоточном режиме.

Банить по ip не вариант - я сейчас проанализировал логи только его запросов всего лишь за неполный 1 день и там... порядка 3500 разных ip из которых всего около 20 юзались 2 раза, а все остальные лишь 1 раз, т.е. он буквально на каждый запрос берет новый ip!

Вопроса, собственно, два:

1) Кто вообще такой этот сотона, который имеет, похоже, бесконечные ip для парсинга (ботнет какой-то огромный или что?) + изи шлет гугловскую рекапчу (это явно не обработка людьми за оплату, это не имело бы никакого коммерческого смысла, т.к. он шлет десяток тысяч запросов в сутки), ее разве можно автоматически уже как-то обходить?

2) Может у кого есть из практики какие-то советы, что умного предпринять для автоматической защиты от него, не заебывая нормальных юзеров при этом?

P.S. Простенькую защиту на JS я сделал, но она работает недолго, когда он видит, что парсинг встал, заходит, разбирает защиту, вносит изменения в скрипты, и моя квота вновь начинает улетать. Соответственно, это вариант, если все время постоянно следить за этим, а у меня и других дел полно, и вообще заебал он уже конкретно в целом, нужно решение, чтобы как-то раз и навсегда уже это победить
DimaX вне форума  
Старый 13.02.2023, 09:26   #12
Skyworker
Senior Member
 
Регистрация: 25.12.2013
Сообщений: 6,586
Бабло: $785925
По умолчанию

Цитата:
Сообщение от Юзлес конч Посмотреть сообщение
ТСу просто лень самому копать.
сиди разбирайся - читай новости, ищи инфу, всё на поверхности.
Либо нанять токового админа, который шарит в этой теме. Скорее всего можно как-то настроить фильтр, который будет блокировать доступ к сайту из разных подсеток. Спец должен вникнуть в детали и принять грамотное решение на основе полученных данных.
__________________
Надежный и отзывчивый VPS хостинг для серьезных проектов
Проверенная годами пуш партнерка с ежедневными выплатами
Skyworker вне форума  
Старый 23.02.2023, 01:44   #13
Malamut
Member
 
Регистрация: 22.04.2015
Сообщений: 99
Бабло: $15270
По умолчанию

Есть ещё Аntibot cloud [реф] [не реф] , за один домен тариф 10$/месяц либо 100$/год
Malamut вне форума  
Старый 23.02.2023, 03:36   #14
Юзлес конч
Иже херувимы (паки, паки)
 
Аватар для Юзлес конч
 
Регистрация: 31.12.2020
Адрес: ул. Ерепетная, дом 8
Сообщений: 393
Бабло: $81260
По умолчанию

Malamut, того кто професимонально парсет ты ни заблокируешь. Сдесь вопрос цена-результат.

Сос стараны акатуещева:
То есть есть ли смысл вкладывать усилий=денег X, штобы палучить результат Y.

Памима етова, у такова результата можно померить качество, к примеру, доступный объем палучаемых данных либо кол-во допустимых запросов.

Со стараны защищаевуся:
Лимит денег в сутки или месяц, чтобы этова ни происходило, либо оценка снижения нагрузки , количества запрсов.
Проще гаваря оценка эфективности.

В плюс к вышесказаному: потери от блокировки полезных запросов, те. реальаных юзверей и Гугль-ботов,
задержка и скорасть отдачи контента страницы очнь важна длч SEO !!!
__________________
РосСпамИздат 2007-2023 Создаю коморбидные сетки сайтов, доров, блогов на уникальном движке Работаем!
Юзлес конч вне форума  
Старый 23.02.2023, 16:56   #15
Malamut
Member
 
Регистрация: 22.04.2015
Сообщений: 99
Бабло: $15270
По умолчанию

ТС, по каким паттернам вы понимаете, что это один и тот же нехорошка? Нельзя ли по этим же паттернам его детектить?
Парсит через браузер или запросами с сервера? Если второе - мб попробовать сделать динамические эндпоинты на ваш api.

Цитата:
Сообщение от DimaX Посмотреть сообщение
Простенькую защиту на JS я сделал, но она работает недолго, когда он видит, что парсинг встал, заходит, разбирает защиту, вносит изменения в скрипты
Можно ли отправлять левые данные? Не знаю ваших подробностей, но, допустим, вы получаете данные о кол-ве просмотров роликов. Как только ваша защита видит этого редиску, то вместо запросов к апи ютюба шлёт ему rand(0, 1000000). Т.е. с его стороны всё работает и ваши лимиты не тратятся.
Malamut вне форума  
Старый 23.02.2023, 17:46   #16
Юзлес конч
Иже херувимы (паки, паки)
 
Аватар для Юзлес конч
 
Регистрация: 31.12.2020
Адрес: ул. Ерепетная, дом 8
Сообщений: 393
Бабло: $81260
По умолчанию

если есть мозг и навык, то посмотри как auto.ru яндексовский защищается.

с новава года добавел в свои парсеры модуль обхода защиты.
ну и обрати внеманье на webpack - што ето такое.
__________________
РосСпамИздат 2007-2023 Создаю коморбидные сетки сайтов, доров, блогов на уникальном движке Работаем!
Юзлес конч вне форума