На один из моих полностью бесплатных онлайн сервисов повадился ходить какой-то тип, который парсит результаты работы сервиса в гигантских масштабах.
Проблема в том, что для работы сервиса юзаются квоты апи ютуба, а они, мягко говоря, не безлимитные, и если их обычно нормально хватает для адекватных юзеров, то когда наваливаются парсеры этого чувака, суточная квота заканчивается буквально за пару часов и пиздец всему сервису.
Сейчас ситуация такая.
Чисто из-за этого одного чувака пришлось прикрутить к сервису рекапчу Гугла - его это остановило на время, но теперь он без проблем шлет успешную рекапчу в многопоточном режиме.
Банить по ip не вариант - я сейчас проанализировал логи только его запросов всего лишь за неполный 1 день и там... порядка 3500 разных ip из которых всего около 20 юзались 2 раза, а все остальные лишь 1 раз, т.е. он буквально на каждый запрос берет новый ip!
Вопроса, собственно, два:
1) Кто вообще такой этот сотона, который имеет, похоже, бесконечные ip для парсинга (ботнет какой-то огромный или что?) + изи шлет гугловскую рекапчу (это явно не обработка людьми за оплату, это не имело бы никакого коммерческого смысла, т.к. он шлет десяток тысяч запросов в сутки), ее разве можно автоматически уже как-то обходить?
2) Может у кого есть из практики какие-то советы, что умного предпринять для автоматической защиты от него, не заебывая нормальных юзеров при этом?
P.S. Простенькую защиту на JS я сделал, но она работает недолго, когда он видит, что парсинг встал, заходит, разбирает защиту, вносит изменения в скрипты, и моя квота вновь начинает улетать. Соответственно, это вариант, если все время постоянно следить за этим, а у меня и других дел полно, и вообще заебал он уже конкретно в целом, нужно решение, чтобы как-то раз и навсегда уже это победить