Подскажите софтину

[Mr.bin]

Нужно проверить очень много доменов, на предмет обратных ссылок по Yahoo и спарсить все найденные бэки. Подскажите, может, есть такая десктопная софтина, работающая с поддержкой прокси, которой на входе даем кучу доменов, на выходе нужно получить с этих доменов все беки по Yahoo?

[big-bro]

Было уже

[Mr.bin]

checkparams показывает - общее количество бэков и проиндекксированных страниц, а мне нужно спарсить бэки.

[mlu]

Сообщение от Mr.bin

checkparams показывает - общее количество бэков и проиндекксированных страниц, а мне нужно спарсить бэки.

Бэки можно спарсить, ответил в почту

UPD: вот примерно такой модуль раньше отлично работал и парсил все бэки в файл results.csv в кодировке base64. Достаточно было любым скриптом распарсить results.csv. К сожалению, сейчас совсем нет времени, чтобы убедиться, что он еще работает.

			<yahoobacklinks module_name="Yahoo Backlinks Export" enabled="0" check_interval="0" retries="10" use_proxies="0" results_mode="2" download_size="999999">
				<request>
					<server address="siteexplorer.search.yahoo.com" port="80"/>
					<headers><![CDATA[GET /export;_ylt=%RAND_L_14_14%?p=%HOST%&bwm=i&bwmf=s&bwmo=d HTTP/1.1
Host: siteexplorer.search.yahoo.com
User-Agent: #$m$UA$m$#
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Connection: close

]]></headers>
					<checks>
					<!--
						<check result="parse" present="0" icase="1" type="regexp"><![CDATA[\n\r?^HTTP/1.\d\s+2\d\d]]></check>
						<check result="parse" present="0" icase="0" type="string">List of inlinks to the site</check>
					-->
						<!-- 0a 0d 0a 30 0d 0a 0d 0a 00 -->
						<check result="good" present="1" icase="0" type="regexp"><![CDATA[\n\r\n0\r\n]]></check>
						<check result="parse" type="*"/>
					</checks>
				</request>
			</yahoobacklinks>

[Dr.Gonzo]

Ответь сюда лучше
Тоже интересно

[mlu]

Блин, не ожидал такого ажиотажа в этом и в соседнем (http://www.gofuckbiz.com/showthread.php?t=25992) топике.

Проверил модуль, он еще работает, вот примерный набросок скриптика на пхп, который декодирует base64 из файла results.csv:

<?php

$fp = fopen("results.csv", "r");	

while (!feof($fp))
{
	list($domain, $error, $backlinks) = explode(";", fgets($fp), 3);
	if ($error)
		continue;

	$backlinks = base64_decode($backlinks); // тут будут раскодированный из base64 список бэклинков для домена $domain
		
}

fclose($fp);

?>

[Mr.bin]

mlu, напиши пожалуйста для "твердолобых", куда эти модули вставить и как подключить?

[mlu]

Сообщение от Mr.bin

mlu, напиши пожалуйста для "твердолобых", куда эти модули вставить и как подключить?

Проще всего так: забэкапиться, найти в checkparams.xml тег <params> и закрывающий тег </params>, удалить между тегами вообще всё, что есть (не удаляя сами теги) и вставить туда код модуля yahoobacklinks, что я привёл.

Будет примерно так:

<params>
<yahoobacklinks блаблаблабла
</yahoobacklinks>
</params>

В самом модуле лучше enabled="0" заменить на enabled="1", это включит модуль.

Если нужна работа через прокси (боюсь, что пригодится), то необходимо use_proxies="0" заменить на use_proxies="1".

Как-то так 8)

[Mr.bin]

Большое спасибо, завтра будем пробовать

[xealey]

scrapebox+ backlinks addon