Посоветуйте прокси-сервис для парсинга сайта, не для спама - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Объявления о покупке/продаже товаров и услуг
Дата
USD/RUB89.2589
BTC/USD68526.1046
Объявления о покупке/продаже товаров и услуг Также в этом разделе следует размещать и предложения о сотрудничестве.

Закрытая тема
Опции темы Опции просмотра
Старый 17.11.2020, 23:35   #1
Exploy
Юниор
 
Регистрация: 20.11.2007
Сообщений: 26
Бабло: $12670
По умолчанию Посоветуйте прокси-сервис для парсинга сайта, не для спама

Может кто-то уже решал подобную задачу.

Есть сайт который нужно постоянно парсить. Запросов не много пока, несколько тысяч в сутки всего, но сайт задалбывает своей капчей и блокирует ip от пары часов до пары дней.
Мне подсказали использовать ротационные прокси - это когда на каждый запрос новый ip используется из большого пула.

От сервиса требуется:
- Подключение к сервису как к самостоятельной прокси - единственный ip : port (авторизация или whitelist ip), а не периодическое скачивание списков доступных прокси.
- Ротация конечных прокси из всего доступного пула на каждый запрос (если пул ip в 10 млн, то неприемлемо, что проски начинают повторятся уже в пределах 2-3 минут по несколько раз).
- Возможность одновременной работы хотя бы в 2-3 потока.
- Прокси будет использоваться для обработки http/https запросов.
- Желательно резидентские прокси, а не серверные (какой бы большой пул не был, сталкиваемся с тем, что подсетей всего пара десятков).
- Сервис следит за своим пулом проксей, т.к. получать в ответ html страницы брандмауэра, роутера или еще какого-то посредника вместо ответа целевого сайта крайне не приемлемо.

Нашел подобные решение у ребят типа luminati и еще пары “крупняков”, но они хотят оплату за трафик и зачастую меняют ip через несколько сек или минут только. Оплата за трафик обычно 5-15$ за ГБ не подходит - один ответ сайта обычно около 1МБ, с такими ценами парсинг не окупается совершенно.

Мелкие сервисы тоже не подходят - т.к. заявляют пул прокси в пару десятков тысяч, а живых потом оказывается раз в 10 меньший объем и идут постоянные повторы.
Exploy вне форума