Скрипт массовой многопоточной прокси пинговалки

[Vladimir-AWM]

Доброго времени суток. Хочу представить свой скрипт массовой многопоточной прокси пинговалки.

Давно задумывался как реагируют пинг сервисы (особенно сервисы ПС Яндекса и Гугла) когда им шлют подряд много адресов с одного IP. Я может и параноик, но думаю лучше перестраховаться, и пинговать через прокси (так же я поступаю при добавление в AddURL ПС).

Решил поискать готовые решения, которые работают через прокси, но найти не смог, вот и появилась идея написать самому такой многофункциональный скрипт.

Работа со скриптом (в настройке не нуждается):


(зеркало)

• Список адресов для пинга, - без комментариев
• Список пинг сервисов, - без комментариев
• HTTP прокси, - вводятся в формате IP:Port или Login:Password@IP:Port, если требует авторизации, каждая новая прокси с новой строки. Выборка скриптом прокси для каждого сайта (не потока) происходит рандомно (случайно).
• Потоки, - количество потоков
• Таймаут, - таймаут для 1 потока.
• Парсить Title, - при указании парсить Title, скрипт пройдет по всем сайтам и соберет значения между тегами title (<title></title>), если значение не будет получено, в качестве него будет указан URL сайта. Если же флажок не установлен, то в качестве Title используется URL адрес который будет пинговаться. Сбор Title происходит так же многопоточно и без использования проксей (для укорения работы).

Результат работы скрипта можно смотреть в реальном времени. После выполнения, отчет сохраняется в файлах (формат - URL|Ping Server|Title):


(зеркало)

• ping-good.txt - список удачно пропингованных адресов
• ping-bad.txt - список не удачно пропингованных адресов
• ping-bad-connect.txt - список не удачно пропингованных адресов в связи с плохой проксей или проблемами со связью

Предупреждение: на большем количестве хостингов стоит лимит на время выполнения скриптов в 30 секунд. В моем скрипте хоть и установлено set_time_limit(0);, которое должно убирать этот лимит, но эту директиву понимают не все хостинги. Если ваш хостинг ее не понимает, то скрипт просто не успеет выполниться при задании большого количества сайтов для пинга, пинг сервисов, либо же из-за некачественных проксей. По этому желательно использовать скрипт на локальном веб сервере.

Поддержка: Помощь, при возникновении каких-либо проблем или вопросов окажу бесплатно. Обо всех багах или предложениях, пишем в топике.

Большая просьба: не перепродавать (был уже такой опыт со скриптом парсинга свободных доменов ЖЖ с ТИЦем)! Уважайте труд и время других людей.

Стоимость: цена скрипта составляет 5 WMZ или 150 WMR. За покупкой обращаться в ЛС или асю.

[Vladimir-AWM]

В скрипте указываешь адреса страниц где есть списки прокси (по умолчанию адрес указан просто для примера) в формате iport, скрипт ходит по всем указанным страницам и собирает прокси, после чего чекает их на валидность.

Обновил скрипт, добавил .htaccess (что бы на денвере верно определялась кодировка) и еще добавил вывод прокси, которая используется при пинге (т.к. было замечено что Яндекс весьма часто отдает 400 ответ при работе с паблик проксями, что связано скорее всего именно с ними, просто забанил эти прокси).

[BestProxies]

Если кому нужны прокси, можно взять у меня в подписи

[Vladimir-AWM]

Здравствуйте. Хочу представить вторую версию массовой многопоточной прокси пинговалки, которая была написана с нуля. По сравнению с первой версией, появился новый функционал. Самое главное это более стабильная работа, т.к. используется база данных MySQL, а так же работа через крон, что позволяет более сильнее нагружать пингами даже на обычном хостинге.

Видеообзор:




Функционал второй версии массовой многопоточной прокси пинговалки (по вкладкам):

1. Текущие задания. На данной вкладке прописываются ссылки на RSS каналы сайтов, XML карты сайтов, HTML карты сайтов или ссылки на карты текстового формата URL пробел Title. Все вписанные источники будут парситься при запуске крон файла cron-parser.php и все новые, ранее не пропингованные страницы добавяться в очередь на пинг.

2. Добавить вручную (*без проверки на дубли в базе). Данная форма добавляет вручную список URL адресов для последующего пинга. Если есть возможность, то в формате URL|||Title, что бы не парсить Title через крон.

3. Выпарсить URL адреса (* с проверкой на дубли в базе.). Выводит список URL адресов (и Title если позволяет формат) из указанного источника (которые такие же как в 1 пункте). Далее полученный список можно ввести в форму "Добавить вручную".

4. Настройки. Различные настройки скрипта.

Установка и настройка скрипта:

1. Создать на хостинге базу данных и прописать данные доступа к ней в файле db.php

2. Импортировать в вышесозданную MySQL базу файл дампа dump.sql (например через phpMyAdmin)

3. Добавить в крон задачи 3 файла (промежуток запуска выбирать опционально, можно поставить каждые 2 минуты):

• cron-parser.php — отвечает за парсинг лент в "Текущих заданиях"
• cron-title.php — отвечает за парсинг Title, если в настройках стоит "Парсить Title для пинга"
• cron-ping.php — файл, который занимается пингованием по пинг сервисам

Оф. страница скрипта http://vladimir-awm.ru/drugie-skript...ingovalka-v-2/

Стоимость данной пинговалки составляет 10$ или 300 руб. Все обновления бесплатные.

Для приобритения обращаться в аську 470374535 или в ЛС.

* Покупателям первой версии пинговалки предоставляется скидка, равная 60% от текущей стоимости второй версии, т.е. для них стоимость данного скрипта составит 120 руб. или 4$.

[den2099]

пользуюсь первой версией - отличный скрипт

[Vladimir-AWM]

Сегодня (11.10.2013) вышло обновление скрипта многопоточной прокси пинговалки:

Благодаря одному из первых покупателей была решена самая главная задача, — многократное уменьшение нагрузки на сервер (потребление оперативной памяти и процессорного времени).

Так же был добавлен файл cron-proxy.php для парсинга проксей с последующим сохранением их в настройках скрипта.

User Agent теперь берется рандомно из списка, указанного в настройках.

Добавлен значек в админке для обновления кол-ва пингов (теперь не нужно обновлять страницу для этого).

Добавлена ссылка в верхнем меню для очистки всей базы пингов.

[Vladimir-AWM]

21.10.2013 был исправлен баг, вследствии чего многократно увеличилась скорость ручного добавления страниц (вкладка Добавить вручную).

[kibnet]

купил скрипт на днях - остался довольным.
удобно, быстро!
уже опробовал на пинге 50к url в 9пинг сервисов.
поставил на хостинг, настроил 1н cron-ping.php на каждые 2мин.,
привязал прокси к ИП , залил прокси в настройки. В итоге имею отличный сервис пингования)
жалко, что я раньше не заметил этот скрипт, т.к. пинговать нужно было еще ранее много.

Да и продавец отличный человек, я его чучуть помучал вопросами, которые косвенно касаются скрипта, а он меня вытерпел и не послал. Так что товар гуд, продавец гуд.
Ну и цена конечно смешная.. так что бери!

[Vladimir-AWM]

Дорогие друзья!

Уже через 5 дней наступит Новый год, а еще через 11 и Рождество. В связи с этим объявляю скидочную акцию на скрипт, которая продлится с 26 декабря по 10 января.

Во время проведения акции, скидка на скрипт составляет 15%!

* так же данная скидка распространяется на все мои другие скрипты.

[Vladimir-AWM]

Стоимость скрипта на текщий момент составляет 12$.