Посоветуйте прокси-сервис для парсинга сайта, не для спама
Может кто-то уже решал подобную задачу.
Есть сайт который нужно постоянно парсить. Запросов не много пока, несколько тысяч в сутки всего, но сайт задалбывает своей капчей и блокирует ip от пары часов до пары дней.
Мне подсказали использовать ротационные прокси - это когда на каждый запрос новый ip используется из большого пула.
От сервиса требуется:
- Подключение к сервису как к самостоятельной прокси - единственный ip : port (авторизация или whitelist ip), а не периодическое скачивание списков доступных прокси.
- Ротация конечных прокси из всего доступного пула на каждый запрос (если пул ip в 10 млн, то неприемлемо, что проски начинают повторятся уже в пределах 2-3 минут по несколько раз).
- Возможность одновременной работы хотя бы в 2-3 потока.
- Прокси будет использоваться для обработки http/https запросов.
- Желательно резидентские прокси, а не серверные (какой бы большой пул не был, сталкиваемся с тем, что подсетей всего пара десятков).
- Сервис следит за своим пулом проксей, т.к. получать в ответ html страницы брандмауэра, роутера или еще какого-то посредника вместо ответа целевого сайта крайне не приемлемо.
Нашел подобные решение у ребят типа luminati и еще пары “крупняков”, но они хотят оплату за трафик и зачастую меняют ip через несколько сек или минут только. Оплата за трафик обычно 5-15$ за ГБ не подходит - один ответ сайта обычно около 1МБ, с такими ценами парсинг не окупается совершенно.
Мелкие сервисы тоже не подходят - т.к. заявляют пул прокси в пару десятков тысяч, а живых потом оказывается раз в 10 меньший объем и идут постоянные повторы.
|