Как выпарсить ИСХОДЯЩИЕ ссылки проектов

[El Tiburon]

Задача - выпарсить все исходящие ссылка для списка из нескольких тысяч площадок и сохранить в текстовый файл все url'ы исходящих ссылок.

Какие существую простые и элегантные решения, помимо заказа скрипта для парсинга ahrefs или linkpad?

[buratin0]

Сообщение от alter13

Где там пачками добавлять? Ткни пальцем!
Сколько пользуюсь - никогда не видел...

- Верхнее меню, вкладка "Mode" -> "List"
- Верхнее меню, вкладка "Configuration" -> "Spider" -> поиграться с глубиной и лимитами
- Большой баттон "Upload List" выбираем файлик с урлами для чека
- "Start"

[alter13]

Сообщение от buratin0

- Верхнее меню, вкладка "Mode" -> "List"
- Верхнее меню, вкладка "Configuration" -> "Spider" -> поиграться с глубиной и лимитами
- Большой баттон "Upload List" выбираем файлик с урлами для чека
- "Start"

Шпашыба попользую

[TOBBOT]

Попробуй бесплатный TOBBOT

Написал только что модуль URL Analyze для твоей задачи.

Код модуля (для справки):

PHP код:

URL_GET
    row_url

SCRIPT
    re = /href.*?=.*?"(.*?)"/i;
    match = http_content.match(re);
    if (match != null) {
        results = [];
        domain = row_url.split('/')[2].replace('www.', '');
        temp = http_content;
        while (match = temp.match(re)) {
            if ((match[1].indexOf('://') > 0) &&
                (match[1].indexOf(domain) < 0)) {
                results.push(match[1]);
            }
            temp = temp.substring(match.index + match[0].length);
        }
        row_external_links = results.join(', ');
    }

GOOD 


Вот и все, теперь можешь парсить линки многопоточно с сохранением результата в таблицу (CSV файл).
Если немного знаешь JavaScript, то сможешь доработать при необходимости.

[katardy]

xenu link sleuth, не то?

[sqk]

ксену может так, правда хз насчет списка
еще в content downloaderе есть сканер сайтов, там можно и списком и как хочешь (с фильтрами масками и прочей лабудой) выбрать какие линки парсить (вход исход), довольно шустро парсит вобщем чудесная штука часто пользуюсь при необходимости

[El Tiburon]

Спасибо за решения, сейчас пробую Xenu Link Sleuth. За 10 часов открыл около 600 тысяч страниц, думаю за пару дней справится.

Сообщение от smsupport

А доноры большие? Если типа порталов, очевидно без ахрефса и подобных каши не сварить, иначе моно написать быстрого бота на зенке, и в 100-200 поток сделать за пару дней.

Зенка конечно может, но она у меня через несколько часов работы выдает синий экран смерти. Перезагружать комп каждые 4-5 часов не хочется

[redbul]

TOBBOT, вот это white hat, учитесь парни :P