Массовый парсинг sitemap.xml

[Black West]

Пис, бразерс
Есть необходимость спарсить sitemap.xml у пары-сотен доменов (свои доры). Ищется инструмент под это дело.
А-парсера, контент данлоадера нет.

Может у кого есть что на примете?

[ivy]

#!/bin/bash
for i in $(cat domains.txt)
do
curl http://$i/sitemap.xml |grep blabla >> $i_links.txt
done

Грязно, но работает. Если дашь пример xml, смогу помочь точнее с регуляркой для грепа.

[Black West]

Сообщение от ivy

Грязно, но работает. Если дашь пример xml, смогу помочь точнее с регуляркой для грепа.

Как-та так

<urlset xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
<url>
<loc>http://xxx.ru/</loc>
<lastmod>2015-02-27</lastmod>
<changefreq>always</changefreq>
<priority>0.8</priority>
</url>
</urlset>

[ivy]

#!/bin/bash
for i in $(cat domains.txt)
do
curl http://$i/sitemap.xml |grep -Po '(?<=<loc>).*(?=</loc)' >> "$i"_links.txt
done

Вроде так.
Сохрани в файл, дай права на выполнение (chmod +x file.sh), запускай ./file.sh

Можно и многопоточно сделать через xargs.

[Black West]

Спасибо

Чую, щас пойдут шутки, что клоны друг другу скрипты пишут

[ivy]

Если доменов много, а канал и сервер позволяют, проще распаралеллить (говнокод):

cat domains.txt | xargs -P 10 -n1 -I @ bash -c "curl @/sitemap.xml -s |grep -Po '(?<=<loc>).*(?=</loc)' >> "@"_links.txt"

Где 10 - количество потоков.

[TOBBOT]

Решение на TOBBOT:

создать файл с колонками columns.txt и в него записать:

PHP код:

sitemap_url    URL карты сайта
sitemap_file    Файл для сохранения локальной копии 


создать файл действия actions/Get.txt и в него записать:

PHP код:

URL_GET    row_sitemap_url
FILE    row_sitemap_file, http_body, "a" 


[lorien]

Корневой sitemap не всегда содержит прямые ссылки на документы, он может быть лишь оглавлением т.е. ссылаться на вложенные сайтмапы.

[Black West]

Сообщение от lorien

Корневой sitemap не всегда содержит прямые ссылки на документы, он может быть лишь оглавлением т.е. ссылаться на вложенные сайтмапы.

Спасибо, но я в курсе, что содержат мои собственные сайтмапы

[lorien]

Да, я понимаю. Просто решил разговор поддержать