Получить все УРЛы на сайте

[Dumpty]

Добрый день
Такой вопрос - как получить список ВСЕХ страниц на сайте? И отчекать их на ПР сразу (было бы хорошо).

[1een]

1. xenu
2. вариантов много, один из них у меня в подписи

[WebNinja]

нужно бота писать который их все обойдет.

[Dr.Gonzo]

Сообщение от WebNinja

нужно бота писать который их все обойдет.

Плюс взять два дедика и админа спецом под бота

[WebNinja]

за час написать реально.

[1een]

Если не устраивает тот бот, которого я привел в пример выше (он кстати, написан на с++)))), то можно использовать scrapy. Все уже давно написано.

[chesser]

Сообщение от WebNinja

за час написать реально.

не, не реально, я проверял, правда на пхп
там одна только функция вычисления абсолютного урла на 70 строк вышла у меня
+ еще полно всяких мелочей врапинг стандартных урловых функций, которые не понимают punycode и криво разбирают вполне валидные урлы
....
в общем час мало, у меня месяц-полтора ушло но там посложнее вариант

[WebNinja]

нет реально ) выше ссылка
http://scrapy.org/
он еще асинхронный на твистед.

[WebNinja]

самому то, канешно писать сложно канешно такие темы, помимо самого кодинга потом еще весьма долго придется тестить и отлавливать ошибки. это еще называют - писать свой велосипед.

все уже написано, чтобы разрабатывать что-то своё нужна действительно серьезная необходимость. так же и с поиском ты же не будешь писать поисковик для сайта сам в то время как есть xapian/lucene/shpinx

[chesser]

WebNinja,
угу, получается я написал аналог scrapy на php
сам знаю, что это велосипед, но интересно было + поиском да, пользуюсь не всегда вовремя
С другой стороны, обычно свое начинается с малого, а потом разрастается. Так и у меня, изначально был парсер текста с какого то сайта - теперь веб-сервис-компонента (soap), которая браузит сайты по заданным правилам с css-рендерингом и эмуляцией брайзера, правда без js.

для пхпшников вот еще полезный софт:
http://www.simpletest.org/en/browser_documentation.html