Удалить мусор на сайте

[Strikelol]

Есть сайт без картинок, но с тегами и с линками на эти картники.
К тому же на этом сайте масса ссылок на несуществующие страницы других сайтов. Как одним махом удалить весь этот мусор?

[chesser]

урлы картинок и теги вырезать не сложно, а проверку существования страниц - это подольше.

алгоритм такой:
1. sed/awk/..-ом вырезаем все ненужные теги
2. тем же способом очищаем от урлов, заканчивающихся на jpg|jpeg|gif|png|...
3. grep-ом собираем все оставшиеся линки, но внешние и складываем их в текстовый файл
4. далее анализируем каждый линк из файла, можно цикл + курл или wget
5. получаем список плохих ссылок и убираем их тем же sed/awk/..-ом

...короче 5-10 строчек баша

[Strikelol]

Я наверно слишком упростил. Но я понимаю как сделать все кроме последнего, как проверить страница жива или нет, и если не жива - удалить.

На самом деле все немного сложней. Нужно не просто взять и удалить все теги которые подходят под параметры.
Есть страница, на которой 20 картинок, 2 из них присутствуют у меня на сайте, на остальные просто стоят ссылки, а картинок нет. Нужно сделать проверку на то есть ли картинка по ссылке, если нету - удалить ссылку и теги.
Причем я не знаю какие там теги, т.к. тысячу страниц сайта изучать не резон.

1) Удалить ссылки на картинки и теги их обрамляющие, при условии что по ссылке ничего нет.
2) Удалить ссыли, если по ссылке нету страницы(внешеней, внутренней)

Я просто искал софт какой-то, мне говорили что есть такое. Хотя если не найду сделаю как ты говоришь, удалю все, оставлю только текст.

PS я просто не понял каким образом сделать проверку на состоянии анализируемой страницы

[chesser]

Сообщение от Strikelol

PS я просто не понял каким образом сделать проверку на состоянии анализируемой страницы

надо сделать запрос на соответствующий адрес, и проверить ответ сервера. Например, в хедере код ответа не должен быть равен 200 (ну или какие там ответы нужны), плюс можно проверять контент, иногда бывает 200, но контент пустой.

как сделать эту проверку? - вариантов много, можно башем(wget, curl), можно на пхп: file_get_contents, file, fopen, curl_exec и тд, или другие любимые ЯПы.

Без запроса на сам ресурс тут не обойтись

[Cookie Monster]

тебе надо найти битые ссылки
вот эта программа справится


Сохраняй результат и вычищай найденное другим скриптом.