Скрипт массовой многопоточной прокси пинговалки

[Vladimir-AWM]

Доброго времени суток. Хочу представить свой скрипт массовой многопоточной прокси пинговалки.

Давно задумывался как реагируют пинг сервисы (особенно сервисы ПС Яндекса и Гугла) когда им шлют подряд много адресов с одного IP. Я может и параноик, но думаю лучше перестраховаться, и пинговать через прокси (так же я поступаю при добавление в AddURL ПС).

Решил поискать готовые решения, которые работают через прокси, но найти не смог, вот и появилась идея написать самому такой многофункциональный скрипт.

Работа со скриптом (в настройке не нуждается):


(зеркало)

• Список адресов для пинга, - без комментариев
• Список пинг сервисов, - без комментариев
• HTTP прокси, - вводятся в формате IP:Port или Login:Password@IP:Port, если требует авторизации, каждая новая прокси с новой строки. Выборка скриптом прокси для каждого сайта (не потока) происходит рандомно (случайно).
• Потоки, - количество потоков
• Таймаут, - таймаут для 1 потока.
• Парсить Title, - при указании парсить Title, скрипт пройдет по всем сайтам и соберет значения между тегами title (<title></title>), если значение не будет получено, в качестве него будет указан URL сайта. Если же флажок не установлен, то в качестве Title используется URL адрес который будет пинговаться. Сбор Title происходит так же многопоточно и без использования проксей (для укорения работы).

Результат работы скрипта можно смотреть в реальном времени. После выполнения, отчет сохраняется в файлах (формат - URL|Ping Server|Title):


(зеркало)

• ping-good.txt - список удачно пропингованных адресов
• ping-bad.txt - список не удачно пропингованных адресов
• ping-bad-connect.txt - список не удачно пропингованных адресов в связи с плохой проксей или проблемами со связью

Предупреждение: на большем количестве хостингов стоит лимит на время выполнения скриптов в 30 секунд. В моем скрипте хоть и установлено set_time_limit(0);, которое должно убирать этот лимит, но эту директиву понимают не все хостинги. Если ваш хостинг ее не понимает, то скрипт просто не успеет выполниться при задании большого количества сайтов для пинга, пинг сервисов, либо же из-за некачественных проксей. По этому желательно использовать скрипт на локальном веб сервере.

Поддержка: Помощь, при возникновении каких-либо проблем или вопросов окажу бесплатно. Обо всех багах или предложениях, пишем в топике.

Большая просьба: не перепродавать (был уже такой опыт со скриптом парсинга свободных доменов ЖЖ с ТИЦем)! Уважайте труд и время других людей.

Стоимость: цена скрипта составляет 5 WMZ или 150 WMR. За покупкой обращаться в ЛС или асю.

[qvent]

В общем ситуация следующая. Скрипт работает, но для масштабных пингов требует отсутствия ограничения на время выполнения скрипта, и валидные прочеканные прокси. Денег своих вполне стоит. Мои рекоммендации разработчику.

[Vladimir-AWM]

Добавил после выполнения скрипта ссылку "ПИНГАНУТЬ С ОШИБКОЙ СОЕДИНЕНИЯ".

[Vladimir-AWM]

Добавил в скрипт грабер и проксичекер (скрин главной, скрин работы).

Для проксичекра отдельно выбирается таймаут, т.е. с хорошим инетом можно ставить 5 сек. Проверка идет путем открытия страницы ya.ru.

Все прокси перед парсингом и проверкой (если стоит галочка "Парсить Proxy:") удаляются из базы и сохраняются свежие валидные напарсенные.

В связи с эти нововведением, стоимость этого скрипта возрастает до 8$ или 240 рублей (кто купил скрипт ранее, вышлю обновление бесплатно). Старая версия скрипта остается по той же стоимости.

[just4fun]

Сообщение от Vladimir-AWM

В связи с эти нововведением, стоимость этого скрипта возрастает до 8$ или 240 рублей (кто купил скрипт ранее, вышлю обновление бесплатно). Старая версия скрипта остается по той же стоимости.

думал купить или написать) написать)

[Vladimir-AWM]

Очередное обновление (скриншот). Ранее скрипт смотрел ответ от сервера, если он 200, то пинг считался успешным. После проверки некоторых ответов от различных пинг сервисов, я обнаружил несколько различных ответов:

1 - ответ от сервера 200, но в теле документа ответа в виде xml нет (да и вообще ответа никакого нет, просто пусто), - такие ответы от серверов теперь сохраняются в файле ping-no-answer.txt, т.е. статус не понятен.
2 - ответ от сервера 200, но пинг не принят по какой-либо причине, считается плохим.

Сейчас после пинга, все ответы от сервисов выводятся на экран, т.е. можно более четко определять прошел пинг или нет (хороший ответ - 200 - Thanks for the ping). И еще скажу что скрипт определяет ответы по установленному формату (weblogs.com/api.html), котрого некоторые пинг сервисы не хотят придерживаться.

Все купившим ранее скрипт выслал обновление.

[3TAJIOH]

Приобрел данный скрипт. Поставил на локалку, новые доры пинговать буду)
Понравилось, что выводится подробная инфа о пингах, и можно пропинговать неудавшиеся еще раз.
Через несколько минут после пинга, боты Гугла и Яху были на сайте (проверил по логам).
Еще понравилось, что не надо самому проксики искать и чекать) Поставил и забыл на полчаса)

[Vladimir-AWM]

У кого проблемы с кодировкой, попробуйте создать файл .htaccess рядом со скриптом и вписать туда строчку - AddDefaultCharset utf-8

[Strannic]

Сообщение от 3TAJIOH

Приобрел данный скрипт. Поставил на локалку, новые доры пинговать буду)
Понравилось, что выводится подробная инфа о пингах, и можно пропинговать неудавшиеся еще раз.
Через несколько минут после пинга, боты Гугла и Яху были на сайте (проверил по логам).
Еще понравилось, что не надо самому проксики искать и чекать) Поставил и забыл на полчаса)

чет не совсем понял по поводу прокси, грабер прокси идет в комплекте шоль?
прокси самому вообще не нужно искать ?

[DoctorFake]

Сообщение от Strannic

чет не совсем понял по поводу прокси, грабер прокси идет в комплекте шоль?
прокси самому вообще не нужно искать ?

Ты все правильно понял

[advice]

Сообщение от Strannic

чет не совсем понял по поводу прокси, грабер прокси идет в комплекте шоль?
прокси самому вообще не нужно искать ?

Надо указать адреса сервисов, откуда парсить. В скрипте указан один адрес, но ты можешь добавить и другие, которые знаешь.