Парсер сниппетов

[digg]

1. Даешь пачку кеев, пачку проксей;
2. По кеям парсит сниппеты;
3. Чистит от мусора;

Получаем такой текст

Cat's Paw soles have been used as an aftermarket sole replacement since 1904 I have a collection of heels that date from the 1950′s to the 1990′s. A selection of half heels, both washerless and washer types, for casual and A dress shoe heel featuring the famous Cat's Paw brand, in a broad range of sizes. On the sole it says "Cats Paw" but there seems to be screw holes or rivet Vibram for heels, but I just got a large sheet of Cat's Paw sole guard. Art from: Cat's Paw Rubber Heels -1912A Great traditional design for catching the eyes, with total symmetry, pointing hands, and black cats. AbeBookscom: Cat's Paw non-slip rubber heels and non-slip soles Established in 1904, the Cat's Paw rubber soles continue to be produced in the United States, and We specialize in History Medicine Science, Children's Literature, and. Cat's Paw Heel Revisited Cat Paws #5 White Wedge April 2, 2013 Just before Christmas a woman came into the shop and was looking for that perfect gift for. Once a famous brand of shoe heels, Cat 's Paw was born in Baltimore in 1904. Research tells us the Cat's Paw logo, first used in 1904, was designed History also has it that while searching for the famed Amelia Earhart. Heroes Villains, Oddities and Minutia–The Forgotten History of the National Cat's Paw Rubber Heels are also the favorites of other leading.

уникальность примерно 80%
проверял тут http://www.content-watch.ru/text/

скрипт на php
базы в текстовых файлах

20 WMZ
3355два9743

[Дима Кайфулин]

я так понимаю продаешь только 20 копий?

[digg]

Сообщение от Дима Кайфулин

я так понимаю продаешь только 20 копий?

20 вмз, а копий хватит на всех ))

[digg]

парень спрашивал в аське парсит ли на русском языке
сказал ему, что смогу потестить вечером
а я его не сохранил в списке аськи и не могу теперь найти

короче потестил, пашет
чутарик доработал там iconv("windows-1251","UTF-8", в парочке мест - все ок

[Sultan]

чот мало текста утром дичи заклююют

[digg]

Ап софта:

Появилась возможность парсить, задав урл поисковика с доменной зоной, например:

google.ca
google.com
google.ru
google.com.ua
aol.de
aol.com
aol.co.uk

и язык парсинга, например:

en
ru
de
fr
es
и тд

А также автоматом отрезать собранный текст по максимальной длинне, например не более 3000 символов.
текст чистится от мусора внутри автоматом.

пока что гугл хавает сниппеты хорошо и соотносит паги с ними точно релевантно по кеям

по эксплуатации: работает на паблик проксях многопоточно. лучшие результаты с потоками 300+ по списку паблик проксей 50к+

[websheff]

Нужный парсер. Шуршит аж гай шумит!
Спасибо ТС-у, быстро внес доработки.