своим похапе скриптом, с разбивкой по 100к линков на отдельные файлы + сайтп-мап индекс.
в принципе там ничего сложного, кроме как сгенерить список всех линков с сайта.
либо качать бесплатные парсеры, которые это делают, медленно и долго.
своим похапе скриптом, с разбивкой по 100к линков на отдельные файлы + сайтп-мап индекс.
в принципе там ничего сложного, кроме как сгенерить список всех линков с сайта.
либо качать бесплатные парсеры, которые это делают, медленно и долго.