Выкачать сайт из Webarchive

[ukrpunk]

Есть нормальный сервис по выкачке страниц сайта из вебархива?
попробовал robo2.net и r-tools.org (я так понимаю одно и то же) чет херого сохраняют, в веб-архиве полная копия со всеми css,js , image файлами, а сервисы ток текст сохранили)))

мож кто знает рабочий софт\сервисы шоб дал им урл на страницу архива - получил то же самое что в вебархиве сохранено?

[Germeso]

Сообщение от Gimly

Germeso, выложи сюда домен который криво скачался, абсолютное большинство скачивается в том же виде что на вебархиве.

Т.к. сайт клиентский то не могу его палить в паблик, отправил в личку

Сообщение от pyramida

я бы тоже посмотрел. Сайты сами кривые и косые, ьрать их и пилить в любом случае надо. А тут прямо кнопка бабло за 500 рэ без пруфов

Лень по ссылкам уже кликать? https://kwork.ru/configuration/24607...polnaya-kopiya
Какие ещё пруфы нужны?

Я делаю копии "под ключ" и их не требуется пилить.

Немного подробностей:
- обрабатываются (сохраняются) все редиректы любой вложенности
- копию можно заливать на любой домен с сохранением всех путей
- вытягиваются все js, css, swf и все файлы вложений (doc, xls, mp4, zip, rar и т.п.)
- сохраняются ВСЕ файлы независимо от даты, но копия актуализируется на выбранную дату
- внешние ссылки закрываются nofollow
- лог всех скопированных файлов и всех отсутствующих (битых) файлов

[pyramida]

Сообщение от Germeso

Лень по ссылкам уже кликать?

Что, я должен был там увидеть? Объявление на фонарном столбе? Мне менеджер серпстата, вчера тоже доказывала актуальность их данных. Только почему то толком не объяснила, как они показывают данные, по доменам которые уже не существуют.

[Germeso]

Сообщение от pyramida

Что, я должен был там увидеть? Объявление на фонарном столбе?

Ничего, забей.

[Gimly]

Сообщение от Germeso

Т.к. сайт клиентский то не могу его палить в паблик, отправил в личку

К сожалению не могу проверить твои слова, но навязчивая реклама доверия не внушает. 2 одинаковых поста в одном топике "все сервисы - гавно, заказывайте у меня"
По поводу количества файлов, их все можно получить одним запросом к api вебархива, но зачем пользователю скачивать и заливать кучу ненужных файлов?

[Germeso]

Сообщение от Gimly

К сожалению не могу проверить твои слова, но навязчивая реклама доверия не внушает. 2 одинаковых поста в одном топике "все сервисы - гавно, заказывайте у меня"
По поводу количества файлов, их все можно получить одним запросом к api вебархива, но зачем пользователю скачивать и заливать кучу ненужных файлов?

К сожалению клиент закрыл его, когда я проверял он был открыт. Попробую с другим сайтом как время будет.

А все остальные сервисы объективно - говно полное, это неоспоримый ФАКТ лично для меня, иначе мне не пришлось бы писать собственный парсер. Мне вот прям делать нечего было да? Если бы ХОТЬ ОДИН сервис работал - я бы им пользовался с радостью. А не работает ни один до сих пор! Ни наши, ни буржуйские которые по $70 в мес хотят - такие же кривые и неполные копии выдают, я почти все тестировал. Кто-то ими доволен? Ну флаг в руки и барабан на шею. У меня они ни один сайт не смогли нормально спарсить.

[Skyworker]

Вчера на гитхабе нарыл отличный парсер и грабер Вебархива, довольно свежий.

[Gimly]

Всем скинул, раздача инвайтов закончена, задолбался в личку писать, почти 50 шт раздал. Кто не успел - подпишитесь на этот топик, напишу здесь, когда сделаем открытую регистрацию.

[malishka]

Привет, пиши мне, есть хороший скрипт - правда, может надо чуток подправить, если разметка изменилась, но думаю не проблема - в свое время много тысяч страниц этим скриптом наколошматил.

[Gimly]

кому не хватило инвайтов, регистрация открыта http://archiveorg.download/

[yandexru]

как то я по другому делаю.
1. заходишь в поиск веб архива ищешь по тематике
2 выбираешь у найденного сайта древний год и проверяешь пару статей на уник
3. качаешь донлоудером
4 чистишь Duplicate File Finder
5 публикуешь текст китом
6. проверяешь сайт на уник текст.ру
много движений