Как выпарсить ИСХОДЯЩИЕ ссылки проектов

[El Tiburon]

Задача - выпарсить все исходящие ссылка для списка из нескольких тысяч площадок и сохранить в текстовый файл все url'ы исходящих ссылок.

Какие существую простые и элегантные решения, помимо заказа скрипта для парсинга ahrefs или linkpad?

[Dr.Gonzo]

Бот нужен, который пробежит по всем этим площадкам, и соберет все ссылки.

[El Tiburon]

Сообщение от Dr.Gonzo

Бот нужен, который пробежит по всем этим площадкам, и соберет все ссылки.

Спасибо, кэп

Это -время и -ресурсо затратно.

[Sultan]

в bing оператор linkfromdomain:

[Vincenzo]

нетпик спайдером можно, по идее, потом выгрузку сделать.



блин, но это для одного домена. а для тысячи канеш не подойдет.

[smsupport]

А доноры большие? Если типа порталов, очевидно без ахрефса и подобных каши не сварить, иначе моно написать быстрого бота на зенке, и в 100-200 поток сделать за пару дней.

[buratin0]

как вариант Screaming Frog. В триальной версии с ограничением по количеству линков, но можно найти крякнутый.
Сайты на анализ можно добавлять пачками.

[alter13]

Сообщение от buratin0

Сайты на анализ можно добавлять пачками.

Где там пачками добавлять? Ткни пальцем!
Сколько пользуюсь - никогда не видел...

[xealey]

апарсер умеет, но если ты там википедию парсить будешь, лучше запастись серверами и временем

[Creolabs]

Сообщение от xealey

но если ты там википедию парсить будешь,

Была такая идея, выпарсить википедию на исходящие ссылки, чтобы потом чекнуть на освободившееся домены для дальнейшей регистрации и т.п.