генерация уникального контента

[sx000]

Хотелось бы побеседовать и обсудить, хотелось бы написать генератор уникального контента, вразумительного качества, переводчики понятно, но там оно как переведет так переведет хоть стой хоть падай... техника не стоит на месте давайте поделимся мыслями

[Dem0kratizat0r]

Ты полагаешь, что генератор сделает контент лучше переводчика ?
Было бы интересно нечто типа синонимайзера с элементами искусственного интеллекта, чтобы синонимы нормально вписывались в тематику текста.

[spomoni]

Лови

------------------------

Сначала парсит и скачивает первую десятку гугла,
потом на ее основе генерит
нужное кол-во страниц цепями Маркова.

Error_Reporting(E_ALL & ~E_NOTICE);
class textGenerator
{

/************************************************** ****************************************



Эта функция отвечает за закачку заданного списка
URL с веба. Можете ее править по своим нуждам
(делать через неблокирующие сокеты, если cURL на сервере нет, например)
************************************************** ****************************************
/
function download($urllist)
{
$mh = curl_multi_init();

foreach ($urllist as $i => $url)
{
$conn[$i]=curl_init($url);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
curl_setopt($conn[$i],CURLOPT_FOLLOWLOCATION,1);
curl_setopt($conn[$i],CURLOPT_MAXREDIRS,2);
curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,10);
curl_setopt($conn[$i],CURLOPT_HEADER,0);
curl_multi_add_handle ($mh,$conn[$i]);
}

do
{
$n = curl_multi_exec($mh,$active);
}
while ($active);

foreach ($urllist as $i => $url)
{
$con = curl_multi_getcontent($conn[$i]);
$res[$i]= $con;
// file_put_contents("debug/$i.html",$con);
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
}
curl_multi_close($mh);
return $res;
}

/************************************************** ****************************************



Эта функция парсит URL с первой страницы гугла по данном запросу.
И качает их функцией download.
************************************************** ****************************************
/
function parse_texts($q)
{
$q = urlencode($q);
$q = 'http://www.google.com/search?q='.$q;
$goo = file_get_contents($q);
$regexp = '/<a href=\"?([^\s\"]+)\"? class=l>/';
preg_match_all($regexp,$goo,$res);
$urllist = array();
for ($i = 0; $i<count($res[1]); $i++)
{
$urllist[] = $res[1][$i];
}

$ar = $this->download($urllist);
// var_dump($urllist);
return $this->clear_up_texts($ar);
}


/************************************************** ****************************************



Эта функция чистит массив с текстами от тегов для оформления текста.
Чтобы из него выжать как можно больше именно текста, подходящего для источника
генерации.
************************************************** ****************************************
/

function clear_up_texts($texts)
{
$tags = array('A', 'ABBR', 'ACRONYM', 'ADDRESS', 'AREA', 'B', 'BDO', 'BIG', 'BLOCKQUOTE', 'BR', 'CITE', 'CODE', 'DEL', 'DFN', 'EM', 'EMBED', 'H1', 'H2', 'H3', 'H4', 'H5', 'H6', 'HR', 'I', 'IMG', 'INS', 'LI', 'MAP', 'MARQUEE', 'OL', 'P', 'PRE', 'Q', 'SAMP', 'SMALL', 'SPAN', 'STRONG', 'FONT', 'SUB', 'SUP', 'UL', 'VAR', 'TT');

$res = array();
foreach ($texts as $con)
{
$con = html_entity_decode($con);
foreach ($tags as $tag)
{
$regexp = "/<\/?".$tag."[^>]*>/i";
$con = preg_replace($regexp,"",$con);
}
$regexp = "/<head.+<\/head>/i";
$con = preg_replace($regexp,"",$con);
$regexp = &quot;/<script[^&lt;]+&lt;\/script&gt;/i&quot;;
$con = preg_replace($regexp,&quot;&quot;,$con);
$regexp = &quot;/&lt;style[^&lt;]+&lt;\/style&gt;/i&quot;;
$con = preg_replace($regexp,&quot;&quot;,$con);
$regexp = &quot;/\s+/&quot;;
$con = preg_replace($regexp,&quot; &quot;,$con);
$con = strtolower($con);
$res[] = $con;
}
return $res;
}

/************************************************** ****************************************



Эта функция собственно генерить тексты из массива исходных текстов.
************************************************** ****************************************
/

function generate($data, $words_co,$pages_co)
{
$result = array();
$content = &quot;&quot;;

foreach ($data as $con)
{
$regexp = &quot;/&lt;[^&gt;]+&gt;/&quot;;
$res = preg_split($regexp,$con);
$m = 0;
foreach ($res as $kusok)
{
if (strlen($kusok)&gt;$m)
{
$m = strlen($kusok);
$ms1 = $kusok;
}
}
$m = 0;
foreach ($res as $kusok)
{
if ((strlen($kusok)&gt;$m)&amp;&amp;($kusok!=$ms1))
{
$m = strlen($kusok);
$ms2 = $kusok;
}
}
$itog = strtolower(&quot;$ms1 $ms2&quot;
$content.=&quot;$itog &quot;;
}
$regexp = &quot;/[^a-z0-9]+/&quot;;
$content = preg_replace($regexp,&quot; &quot;,$content);
$regexp = &quot;/\s+/&quot;;
$temp = preg_split($regexp,$content);
$words = array();
for ($i = 0; $i&lt;count($temp)-1; $i++)
{
if (!$words[$temp[$i]]) $words[$temp[$i]] = array();
$words[$temp[$i]][] = $temp[$i+1];
}

for ($i = 0; $i&lt;$pages_co; $i++)
{
$r = rand(0,count($temp));
$w = $temp[$r];
$con = &quot;&quot;;
for ($j = 0; $j&lt;$words_co; $j++)
{
$r = rand(0,count($words[$w])-1);
$word = $words[$w][$r];
$w = $word;
$capit = false;
$r = rand(0,1000);
if (($r&gt;100)&amp;&amp;($r&lt;180)) $capit = true;
if ($capit)
{
$con.=&quot;.&quot;;
$word[0] = strtoupper($word[0]);
}
$con.=&quot; $word&quot;;
}
$result[] = $con;
}
return $result;
}

}

?&gt;


&lt;?

/************************************************** ***************************************

Файл - пример использования.
Использование: вызываете из своего скрипта функцию
$gen-&gt;generate(запрос_в_гугл,количество_слов_на_с тра ницу,количество_страниц_необходимых);
Например:
$gen-&gt;generate(&quot;windows articles&quot;,300,5);
И эта функция возвращается массив с текстами нужной длины.
Предварительно надо создать, естественно, объект $gen:
$gen = new textGenerator();

Т.о. пример вернет массив из 5-ти элементов по 300 слов в каждом элементе.
************************************************** ****************************************
/

//include('textgenerator.class.php');
$gen = new textGenerator();
$data = $gen-&gt;parse_texts(&quot;windows article&quot;
$texts = $gen-&gt;generate($data,500,5);

foreach ($texts as $text)
{
echo $text;
echo &quot;&lt;br&gt;&lt;hr&gt;&lt;br&gt;&quot;;
}
?&gt;

[div72™]

потом на ее основе генерит
нужное кол-во страниц цепями Маркова.

И это нормальный читаемый контент?

[inferno[DGT]]

spomoni, самоубейся

[miller]

Сообщение от sx000

Хотелось бы побеседовать и обсудить, хотелось бы написать генератор уникального контента, вразумительного качества, переводчики понятно, но там оно как переведет так переведет хоть стой хоть падай... техника не стоит на месте давайте поделимся мыслями

это фантастика

[banzai]

Сообщение от sx000

Хотелось бы побеседовать и обсудить, хотелось бы написать генератор уникального контента, вразумительного качества, переводчики понятно, но там оно как переведет так переведет хоть стой хоть падай... техника не стоит на месте давайте поделимся мыслями

на Армаде Вацлав давно уже написал статью на этот счет, вот от нее и отталкивайся, ну а дальше .. каждый сам за себя.

[pina]

Ни когода не понимал смысла использования цепей Маркова в генерации контента. Сгенерить контент вразумительного качества машиной на мой взгляд практически не возможно... пусть хоть у нее n процов и n гигов оперативы.

Как вариант генерации это разбиение текста на предложения.
1. Мешанина простых предложений внтри одного сложного предложения и мешанина самих исходных предложений...
2. Ну или просто перемешать все предложения без всяких предварительных действий...

И вуаля - уникальный контент. А поисковик сам решит что показывать в сниппете

PS : Это далеко не идеал, но в данный момент я двигуюсь именно в этом направлении
PPS : spomoni, функцию clear_up_texts, точнее тот момент где убираются теги, можно упростить хотя бы так

<?php
strip_tags($str);
?>

[banzai]

Сообщение от pina

Ни когода не понимал смысла использования цепей Маркова в генерации контента. Сгенерить контент вразумительного качества машиной на мой взгляд практически не возможно... пусть хоть у нее n процов и n гигов оперативы.

Напиши свой генератор текстов!

[sx000]

цепи тут как бы не канают вообще оно не читаемо в принцыпе. Переводчик это тот же марков, замена синонимов, ну тут как бы есть над чем поработать, но там куча НО на самом деле. Просто на многих блогах я видел что пишут мол мы генерируем читаемый контент. Тот же киви писал где то, что у них генерируется контент хороший.