Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Объявления о покупке/продаже товаров и услуг
Дата
USD/RUB58.8650
BTC/USD0.0000
Объявления о покупке/продаже товаров и услуг Также в этом разделе следует размещать и предложения о сотрудничестве.

Закрытая тема
Опции темы Опции просмотра
Старый 15.03.2010, 22:49   #1
gameover
Юниор
 
Регистрация: 25.02.2010
Сообщений: 24
Бабло: $7280
По умолчанию robochek - краулер robots.txt

robocheck - программа для поиска информации в robots.txt на большом числе хостов.

robocheck:
- работает под Linux
- написан на C
- многопоточен
- не требует установки дополнительных библиотек

На вход принимает:
- файл с хостами с которых надо забрать robots.txt
- файл со строками которые надо искать в robots.txt
- количество потоков для работы
- таймаут на обработку одного хоста

На выходе выдает:
- файл с хостами и строками из robots.txt которые удалось найти
- файлы с хостами при обработке которых произошли те или иные ошибки

Изучаю будет ли спрос на такое предложение, возможно изменение краулера под ваши требования.
Цена договорная, со всеми вопросами и предложениями стучите 4-8-008-4-8
gameover вне форума