Как вы скачиваете сайты из Web Archive?

[NeTalant]

Всем привет. Подскажите кио знает хорошие программы/сервисы где можно быстро без тупняков выкачивать сайты? У сайтов может быть большое количество страниц в архиве... Всем спасибо

[NeTalant]

Давайте сложимся закажем скрипт тогда нормальный

[веломан]

Сообщение от sliderxxx

А как вы телепортом и подобным софтом качаете? Там же вебархив кучу своего в каждую страницу сует, и пути меняет. Вообще выкачать-то можно обычным вгетом или курлом, но потом обрабатывать пакетно надо скрипт какой-то все-равно писать. А если скрипт писать, то нафиг и телепорт тогда не нужен.

там в телепорте какие-то были настройки про пути
их можно на относительные править, на локальные, ещё как-то
в вгете тоже дофига настроек

[Sultan]

причем тут пути.. а как без прокси туда попасть)))
он про то, что в кажду html страницу инжектится бар архива..

заказывается проксификатор с переписыванием и чисткой подобного мусора и складыванием в кеш.
ближайшее что можно за основу взять анонимайзеры, клонировщики

[Creolabs]

Сообщение от NeTalant

спасибо! опять же винда. опять же на маке надо попробовать запустить)

там на сайте вроде написанно о Маке, В паге даунлоадс есть мак, убунту, линукс и прочее.

[digg]

Сообщение от sliderxxx

Попробовал ртулз, все хорошо скачал, даже скрипт с роутингом и плюшками, типа добавления кусков кода во все страницы. Но вот ссылки с хешами (#), я не смог его заставить обрабатывать.

А как вы телепортом и подобным софтом качаете? Там же вебархив кучу своего в каждую страницу сует, и пути меняет. Вообще выкачать-то можно обычным вгетом или курлом, но потом обрабатывать пакетно надо скрипт какой-то все-равно писать. А если скрипт писать, то нафиг и телепорт тогда не нужен.

В ртулз решение с роутингом понравилось.

в любом случае приходится потом прогонять скриптом, чтоб массово на всех страницах менять кучу багов

[NiFiga]

Я массово чищу от мусора регулярками в Зеброиде. Практически на всех страницах сайта почти один и тот же мусор, что спасает. Но у разных сайтов совершенно разный мусор, поэтому универсальный скрипт для любых сайтов - это утопия, к сожалению.

[Skyworker]

Мне в сети попадался простой скрипт парсера Вебархива, кому надо найдет. Нормально парсит и сохраняет картинки, вырезая все вставки.

[cencer]

Да было уже тут, парсится этим http://www.httrack.com/
Но нужны руки, что бы настроить http://superuser.com/questions/53203...chived-website

[sliderxxx]

Вот вы обычные сайт-скрапперы даете, а если на выкачиваемом сайте расширение у страниц .php, или .asp, ну или .pl. А если у части такое расширение, а у другой части другое. Как это все восстановить?

Ртулз по-моему ахуенно сделали с роутингом. И багов нет никаких. Кроме одного, как я выше писал. Но это мало на каких сайтах встречается. И по деньгам не дорого, если википедию не выкачивать.

[masolit]

https://github.com/hartator/wayback-machine-downloader