robochek - краулер robots.txt

[gameover]

robocheck - программа для поиска информации в robots.txt на большом числе хостов.

robocheck:
- работает под Linux
- написан на C
- многопоточен
- не требует установки дополнительных библиотек

На вход принимает:
- файл с хостами с которых надо забрать robots.txt
- файл со строками которые надо искать в robots.txt
- количество потоков для работы
- таймаут на обработку одного хоста

На выходе выдает:
- файл с хостами и строками из robots.txt которые удалось найти
- файлы с хостами при обработке которых произошли те или иные ошибки

Изучаю будет ли спрос на такое предложение, возможно изменение краулера под ваши требования.
Цена договорная, со всеми вопросами и предложениями стучите 4-8-008-4-8