Чем спарсить структуру сайта? - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB90.1887
BTC/USD67854.2920
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 27.08.2018, 18:53   #1
majordon
Senior Member
 
Аватар для majordon
 
Регистрация: 11.10.2008
Сообщений: 6,409
Бабло: $904273
По умолчанию Чем спарсить структуру сайта?

На входе имеем сайт, на выходе нужно получить его структуру (категории, статьи и т.д.) в наглядном виде. Чем проще это сделать? Пробовал парсить Screaming Frog'ом, получать sitemap и конвертировать карту в текст или html, но отображения структуры так и не добился.
majordon вне форума  
Старый 27.08.2018, 19:48   #2
alter13
Отмороженый Сибиряк
 
Аватар для alter13
 
Регистрация: 09.09.2014
Сообщений: 1,843
Бабло: $250100
По умолчанию

После Screaming Frog нужно пихать в excel и разбивать url по /
После этого фильтрами баловаться и смотреть структуру.
__________________
Знать путь и пройти его — не одно и то же. Pharmcash & PharmcashUSA - знаем, проходили... Лидеры в фарме
alter13 вне форума  
Старый 27.08.2018, 20:01   #3
majordon
Senior Member
 
Аватар для majordon
 
Регистрация: 11.10.2008
Сообщений: 6,409
Бабло: $904273
ТС -->
автор темы ТС По умолчанию

Разбивка урла по слешам поможет если урл статьи содержит категорию, а сейчас такое редкость.
majordon вне форума  
Старый 27.08.2018, 22:01   #4
d@rkm!nd
Member
 
Аватар для d@rkm!nd
 
Регистрация: 23.09.2013
Сообщений: 55
Бабло: $17407
По умолчанию

powermapper.com, есть триал
d@rkm!nd вне форума  
Старый 27.08.2018, 22:24   #5
majordon
Senior Member
 
Аватар для majordon
 
Регистрация: 11.10.2008
Сообщений: 6,409
Бабло: $904273
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от d@rkm!nd Посмотреть сообщение
powermapper.com, есть триал
спасибо, интересная штука.
много ошибок на тестовом сайте, структуру сильно коверкает, но пока что это лучшее что нашел. сижу курю
majordon вне форума  
Старый 28.08.2018, 01:41   #6
AloneSlamer
Senior Member
 
Аватар для AloneSlamer
 
Регистрация: 06.12.2014
Сообщений: 1,291
Бабло: $220895
Отправить сообщение для AloneSlamer с помощью ICQ Отправить сообщение для AloneSlamer с помощью Skype™
По умолчанию

Я бы спарсил зенкой. Там можно любые сайты парсить.
AloneSlamer вне форума  
Старый 28.08.2018, 15:22   #7
jules
Member
 
Аватар для jules
 
Регистрация: 02.12.2016
Сообщений: 88
Бабло: $17822
По умолчанию

Попробуй этим тулом - sitechecker.pro/ru/website-crawler/. Сам не юзал конкретно этот инструмент у них, но видел демо в рассылке - вроде то, что тебе нужно.
Стоит от $8.

Демо из рассылки - https://ibb.co/ktHm7p
jules вне форума  
Старый 28.08.2018, 18:39   #8
Безобразная Эльза
Senior Member
 
Аватар для Безобразная Эльза
 
Регистрация: 18.08.2018
Адрес: VY Большого Пса
Сообщений: 792
Бабло: $173135
По умолчанию

A1 Website Analyzer - вытряхивает даже блох из трусов
Безобразная Эльза вне форума  
Старый 29.08.2018, 10:34   #9
yuross
Senior Member
 
Регистрация: 26.09.2010
Сообщений: 226
Бабло: $68237
По умолчанию

можно это попробовать https://sitebulb.com/
yuross вне форума  
Старый 29.08.2018, 13:47   #10
majordon
Senior Member
 
Аватар для majordon
 
Регистрация: 11.10.2008
Сообщений: 6,409
Бабло: $904273
ТС -->
автор темы ТС По умолчанию

Перепробовал всё.
Вывод такой: если сайт не имеет строго упорядоченной структуры, то на выходе любой софт дает бред, особенно если развита внутренняя перелинковка.
majordon вне форума