Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7340
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 14.09.2011, 22:53   #1
Mr.bin
Member
 
Аватар для Mr.bin
 
Регистрация: 04.05.2009
Сообщений: 46
Бабло: $9435
По умолчанию Подскажите софтину

Нужно проверить очень много доменов, на предмет обратных ссылок по Yahoo и спарсить все найденные бэки. Подскажите, может, есть такая десктопная софтина, работающая с поддержкой прокси, которой на входе даем кучу доменов, на выходе нужно получить с этих доменов все беки по Yahoo?
Mr.bin вне форума  
Старый 14.09.2011, 23:04   #2
big-bro
Бодрый Лось
 
Аватар для big-bro
 
Регистрация: 01.11.2009
Сообщений: 450
Бабло: $82224
По умолчанию

Было уже
big-bro вне форума  
Старый 14.09.2011, 23:11   #3
Mr.bin
Member
 
Аватар для Mr.bin
 
Регистрация: 04.05.2009
Сообщений: 46
Бабло: $9435
ТС -->
автор темы ТС По умолчанию

checkparams показывает - общее количество бэков и проиндекксированных страниц, а мне нужно спарсить бэки.
Mr.bin вне форума  
Старый 14.09.2011, 23:26   #4
mlu
Senior Member
 
Аватар для mlu
 
Регистрация: 17.02.2011
Сообщений: 153
Бабло: $26940
Отправить сообщение для mlu с помощью ICQ
По умолчанию

Цитата:
Сообщение от Mr.bin Посмотреть сообщение
checkparams показывает - общее количество бэков и проиндекксированных страниц, а мне нужно спарсить бэки.
Бэки можно спарсить, ответил в почту

UPD: вот примерно такой модуль раньше отлично работал и парсил все бэки в файл results.csv в кодировке base64. Достаточно было любым скриптом распарсить results.csv. К сожалению, сейчас совсем нет времени, чтобы убедиться, что он еще работает.

Код:
			<yahoobacklinks module_name="Yahoo Backlinks Export" enabled="0" check_interval="0" retries="10" use_proxies="0" results_mode="2" download_size="999999">
				<request>
					<server address="siteexplorer.search.yahoo.com" port="80"/>
					<headers><![CDATA[GET /export;_ylt=%RAND_L_14_14%?p=%HOST%&bwm=i&bwmf=s&bwmo=d HTTP/1.1
Host: siteexplorer.search.yahoo.com
User-Agent: #$m$UA$m$#
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Connection: close

]]></headers>
					<checks>
					<!--
						<check result="parse" present="0" icase="1" type="regexp"><![CDATA[\n\r?^HTTP/1.\d\s+2\d\d]]></check>
						<check result="parse" present="0" icase="0" type="string">List of inlinks to the site</check>
					-->
						<!-- 0a 0d 0a 30 0d 0a 0d 0a 00 -->
						<check result="good" present="1" icase="0" type="regexp"><![CDATA[\n\r\n0\r\n]]></check>
						<check result="parse" type="*"/>
					</checks>
				</request>
			</yahoobacklinks>
mlu вне форума  
Старый 14.09.2011, 23:28   #5
Dr.Gonzo
gofuckingoogle
 
Аватар для Dr.Gonzo
 
Регистрация: 28.08.2008
Адрес: ГНР
Сообщений: 7,733
Бабло: $1059275
По умолчанию

Ответь сюда лучше
Тоже интересно
Dr.Gonzo вне форума  
Старый 14.09.2011, 23:38   #6
mlu
Senior Member
 
Аватар для mlu
 
Регистрация: 17.02.2011
Сообщений: 153
Бабло: $26940
Отправить сообщение для mlu с помощью ICQ
По умолчанию

Блин, не ожидал такого ажиотажа в этом и в соседнем (http://www.gofuckbiz.com/showthread.php?t=25992) топике.

Проверил модуль, он еще работает, вот примерный набросок скриптика на пхп, который декодирует base64 из файла results.csv:

Код:
<?php

$fp = fopen("results.csv", "r");	

while (!feof($fp))
{
	list($domain, $error, $backlinks) = explode(";", fgets($fp), 3);
	if ($error)
		continue;

	$backlinks = base64_decode($backlinks); // тут будут раскодированный из base64 список бэклинков для домена $domain
		
}

fclose($fp);

?>
mlu вне форума  
Старый 14.09.2011, 23:49   #7
Mr.bin
Member
 
Аватар для Mr.bin
 
Регистрация: 04.05.2009
Сообщений: 46
Бабло: $9435
ТС -->
автор темы ТС По умолчанию

mlu, напиши пожалуйста для "твердолобых", куда эти модули вставить и как подключить?
Mr.bin вне форума  
Старый 15.09.2011, 00:04   #8
mlu
Senior Member
 
Аватар для mlu
 
Регистрация: 17.02.2011
Сообщений: 153
Бабло: $26940
Отправить сообщение для mlu с помощью ICQ
По умолчанию

Цитата:
Сообщение от Mr.bin Посмотреть сообщение
mlu, напиши пожалуйста для "твердолобых", куда эти модули вставить и как подключить?
Проще всего так: забэкапиться, найти в checkparams.xml тег <params> и закрывающий тег </params>, удалить между тегами вообще всё, что есть (не удаляя сами теги) и вставить туда код модуля yahoobacklinks, что я привёл.

Будет примерно так:
Код:
<params>
<yahoobacklinks блаблаблабла
</yahoobacklinks>
</params>
В самом модуле лучше enabled="0" заменить на enabled="1", это включит модуль.

Если нужна работа через прокси (боюсь, что пригодится), то необходимо use_proxies="0" заменить на use_proxies="1".

Как-то так 8)
mlu вне форума  
Старый 15.09.2011, 00:08   #9
Mr.bin
Member
 
Аватар для Mr.bin
 
Регистрация: 04.05.2009
Сообщений: 46
Бабло: $9435
ТС -->
автор темы ТС По умолчанию

Большое спасибо, завтра будем пробовать
Mr.bin вне форума  
Старый 15.09.2011, 00:16   #10
xealey
Senior Member
 
Аватар для xealey
 
Регистрация: 04.09.2007
Сообщений: 1,271
Бабло: $253980
По умолчанию

scrapebox+ backlinks addon
xealey вне форума