На входе имеем сайт, на выходе нужно получить его структуру (категории, статьи и т.д.) в наглядном виде. Чем проще это сделать? Пробовал парсить Screaming Frog'ом, получать sitemap и конвертировать карту в текст или html, но отображения структуры так и не добился.
Попробуй этим тулом - sitechecker.pro/ru/website-crawler/. Сам не юзал конкретно этот инструмент у них, но видел демо в рассылке - вроде то, что тебе нужно.
Стоит от $8.
Перепробовал всё.
Вывод такой: если сайт не имеет строго упорядоченной структуры, то на выходе любой софт дает бред, особенно если развита внутренняя перелинковка.