Очень быстрый сборщик и чекер прокси!

[getalifejerk]

Друзья хочу представить вам программу которая очень быстро собирает прокси и проверяет их на работоспособность, скорость работы, страну и город.
Я разрабатывал софтину для себя, а конкретно под две задачи - парсинг гугла и расставление ссылок. Раньше постоянно приходилось обходить бесплатные списки и выделять от туда прокси. Естественно многие из них были мертвыми, поэтому и появился этот удобный инструмент!

Хотел узнать ваше мнение, готов внести желаемые доработки и начать продавать!

[sandy]

видновая прога с выгрузкой в текстовый файл - это фейспалм, сделай лучше вебсофт, ну или вебсервис просто )

[den2099]

Сообщение от getalifejerk

У меня также, может даже чуть дольше, 50К - 25 минут.
А где ты берешь миллионы прокси? И зачем столько нужно? =)

алгоритм такой:
1. чекаем любой паблик лист.
2. сохраняем гуды в отдельный файл.
3. затем скрипт берет из гудов прокси и парсит гугл по запросам вида:
"123.321.123.321:80" filetype:txt
на выходе получаются линки на свежие прокси листы
4. скачиваем проксилисты и распаршиваем их на предмет прокси. после удаления дублей должно получиться больше ляма.
далее см. пукт 1.

[sspy]

Сообщение от den2099

алгоритм такой:
1. чекаем любой паблик лист.
2. сохраняем гуды в отдельный файл.
3. затем скрипт берет из гудов прокси и парсит гугл по запросам вида:
"123.321.123.321:80" filetype:txt
на выходе получаются линки на свежие прокси листы
4. скачиваем проксилисты и распаршиваем их на предмет прокси. после удаления дублей должно получиться больше ляма.
далее см. пукт 1.

нету в паблике столько прокси. пол лимона берет. дальше мусор.

[den2099]

Сообщение от sspy

нету в паблике столько прокси. пол лимона берет. дальше мусор.

если у тебя не получается столько проксей за один проход собрать - это не значит что их нет в паблике.
на 50$ замажем? могу прям сейчас лям выложить

[den2099]

или ты живых имеешь в виду? живых конечно столько нет...

[getalifejerk]

Сообщение от den2099

алгоритм такой:
1. чекаем любой паблик лист.
2. сохраняем гуды в отдельный файл.
3. затем скрипт берет из гудов прокси и парсит гугл по запросам вида:
"123.321.123.321:80" filetype:txt
на выходе получаются линки на свежие прокси листы
4. скачиваем проксилисты и распаршиваем их на предмет прокси. после удаления дублей должно получиться больше ляма.
далее см. пукт 1.

Спасибо, возьму на заметку =)

И ещё такой вопрос, из одного миллиона сколько рабочих у тебя получается?

[sspy]

Сообщение от den2099

если у тебя не получается столько проксей за один проход собрать - это не значит что их нет в паблике.
на 50$ замажем? могу прям сейчас лям выложить

алгоритм то тот-же. просто если не фильтровать, то выйдет и больше ляма, а если дать фильтр по левым портам, блэклисту диапазонов, то выйдет не больше полуляма. у меня не постоянно так чекер работает, поэтому такие резалты. если запустить круглосуточо может будет и больше.

[Drunk Monk]

Что за блеклист диапазонов?

[sspy]

Сообщение от Drunk Monk

Что за блеклист диапазонов?

Planetlab/Military айпишники

[WebNinja]

после проверки на тип скорость просядет в неск. раз, либо возрастет потребляемая память, если в канал не упрется
у меня на одну проксю секунд по 20 уходило в среднем

зачем так много? несколько тестов? я просто обрываю то что длинне 5 секунд например.