Чем спарсить структуру сайта? - Форум успешных вебмастеров - GoFuckBiz.com - Страница 2
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB90.1887
BTC/USD67790.1297
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 27.08.2018, 18:53
Start Post: Чем спарсить структуру сайта? 
  #11
majordon
Senior Member
 
Аватар для majordon
 
Регистрация: 11.10.2008
Сообщений: 6,409
Бабло: $904273
По умолчанию

На входе имеем сайт, на выходе нужно получить его структуру (категории, статьи и т.д.) в наглядном виде. Чем проще это сделать? Пробовал парсить Screaming Frog'ом, получать sitemap и конвертировать карту в текст или html, но отображения структуры так и не добился.
majordon вне форума  
Старый 29.08.2018, 18:32   #12
smsupport
Senior Member
 
Аватар для smsupport
 
Регистрация: 12.07.2009
Сообщений: 1,581
Бабло: $361075
По умолчанию

majordon, ты зенку тестил?

Алгоритм такой:
1. Смотри к какой уникальной метке можно привязаться на странице контента.
2. Парсим сайт, кладем в разные папочки или CSV контент и структуру, например категорию.
3. На выходе получаем файл для которого можно написать еще шаблон, чтобы получить информацию о структуре в виде дерева, например.
__________________
Swissdoc heavy spec
smsupport вне форума  
Старый 30.08.2018, 11:32   #13
majordon
Senior Member
 
Аватар для majordon
 
Регистрация: 11.10.2008
Сообщений: 6,409
Бабло: $904273
ТС -->
автор темы ТС По умолчанию

smsupport, спасибо. Зенку не пробовал ибо никогда не разбирался в ней. Остановился на том, что кое где надо ручками поработать, помимо софта
majordon вне форума