Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7570
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 18.03.2015, 12:49   #1
El Tiburon
Senior Member
 
Регистрация: 22.05.2010
Сообщений: 486
Бабло: $146460
По умолчанию Как выпарсить ИСХОДЯЩИЕ ссылки проектов

Задача - выпарсить все исходящие ссылка для списка из нескольких тысяч площадок и сохранить в текстовый файл все url'ы исходящих ссылок.

Какие существую простые и элегантные решения, помимо заказа скрипта для парсинга ahrefs или linkpad?

El Tiburon вне форума  
Старый 18.03.2015, 12:54   #2
Dr.Gonzo
gofuckingoogle
 
Аватар для Dr.Gonzo
 
Регистрация: 28.08.2008
Адрес: ГНР
Сообщений: 7,733
Бабло: $1059265
По умолчанию

Бот нужен, который пробежит по всем этим площадкам, и соберет все ссылки.
Dr.Gonzo вне форума  
Старый 18.03.2015, 12:59   #3
El Tiburon
Senior Member
 
Регистрация: 22.05.2010
Сообщений: 486
Бабло: $146460
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Dr.Gonzo Посмотреть сообщение
Бот нужен, который пробежит по всем этим площадкам, и соберет все ссылки.
Спасибо, кэп

Это -время и -ресурсо затратно.
El Tiburon вне форума  
Старый 18.03.2015, 13:55   #4
Sultan
на позитиве!
 
Аватар для Sultan
 
Регистрация: 23.01.2011
Сообщений: 1,704
Бабло: $301835
По умолчанию

в bing оператор linkfromdomain:
Sultan вне форума  
Старый 18.03.2015, 14:27   #5
Vincenzo
Senior Member
 
Аватар для Vincenzo
 
Регистрация: 20.03.2014
Сообщений: 542
Бабло: $88479
Отправить сообщение для Vincenzo с помощью ICQ
По умолчанию

нетпик спайдером можно, по идее, потом выгрузку сделать.



блин, но это для одного домена. а для тысячи канеш не подойдет.
Vincenzo вне форума  
Старый 18.03.2015, 14:31   #6
smsupport
Bitcoin сектант
 
Аватар для smsupport
 
Регистрация: 12.07.2009
Сообщений: 951
Бабло: $252685
По умолчанию

А доноры большие? Если типа порталов, очевидно без ахрефса и подобных каши не сварить, иначе моно написать быстрого бота на зенке, и в 100-200 поток сделать за пару дней.
__________________
Конвертирую РУ траф в реальные деньги тут
smsupport вне форума  
Старый 18.03.2015, 15:26   #7
buratin0
Mr. Lucky Guy
 
Аватар для buratin0
 
Регистрация: 27.07.2010
Адрес: RU -> DE -> TH
Сообщений: 460
Бабло: $123865
Отправить сообщение для buratin0 с помощью ICQ
По умолчанию

как вариант Screaming Frog. В триальной версии с ограничением по количеству линков, но можно найти крякнутый.
Сайты на анализ можно добавлять пачками.
buratin0 на форуме  
Старый 18.03.2015, 17:06   #8
alter13
В дурке выходные
 
Аватар для alter13
 
Регистрация: 09.09.2014
Сообщений: 1,354
Бабло: $183435
По умолчанию

Цитата:
Сообщение от buratin0 Посмотреть сообщение
Сайты на анализ можно добавлять пачками.
Где там пачками добавлять? Ткни пальцем!
Сколько пользуюсь - никогда не видел...
alter13 вне форума  
Старый 18.03.2015, 17:19   #9
xealey
Senior Member
 
Аватар для xealey
 
Регистрация: 04.09.2007
Сообщений: 1,271
Бабло: $253980
По умолчанию

апарсер умеет, но если ты там википедию парсить будешь, лучше запастись серверами и временем
__________________
Апарсер охрененен
xealey вне форума  
Старый 18.03.2015, 17:48   #10
Creolabs
Tomorrow
 
Аватар для Creolabs
 
Регистрация: 22.01.2013
Адрес: Баден-Баден
Сообщений: 1,174
Бабло: $198000
По умолчанию

Цитата:
Сообщение от xealey Посмотреть сообщение
но если ты там википедию парсить будешь,
Была такая идея, выпарсить википедию на исходящие ссылки, чтобы потом чекнуть на освободившееся домены для дальнейшей регистрации и т.п.
Creolabs вне форума  
Закрытая тема



Опции темы
Опции просмотра