Места парсинга текста. - Форум успешных вебмастеров - GoFuckBiz.com

0xJah · 17.04.2011, 18:04

Нужно напарсить много текста, парситься будет каждый день, на уникальность пофиг.

Думал качать много pdf книг и выдергивать от туда текст, но столкнулся с проблемой и откинул эту идею.

Вообщем хотелось бы услышать идеи откуда можно парсить много текста....

Вариант пасинга RSS лент не подходит, т.к. почти на всех лентах только анонсы, а искать ленты в которых полные статьи нет времени, т.к. текстов нужно много и 5-15 лент не хватит. Ну и писать парсеры под сотню сайтов тоже не вариант

0xJah · 18.04.2011, 00:09

Цитата:

Сообщение от bess

lib.ru как вариант.

Я подумал о нем, но от туда уже западло парсить... Все кто только можно от туда текстовки брал.

jarosek · 18.04.2011, 00:14

Цитата:

Сообщение от 0xJah

Все кто только можно от туда текстовки брал.

ну ты ведь сначала сказал что на уникальность пох...

0xJah · 18.04.2011, 00:27

Цитата:

Сообщение от jarosek

ну ты ведь сначала сказал что на уникальность пох...

В принципе да, но тектовки от туда использовались где только можно...

sydoow · 18.04.2011, 20:37

Имхо, самый простой и в тоже время объёмный по контенту это вариант с торрентов качать.

medar · 18.04.2011, 23:42

В торрентах лежат библиотеки, размер зазипованных текстов исчисляется гигами. Библиотека Траума например.

dim7 · 18.04.2011, 23:53

пробовал качнуть книги с торентов и проверить в гугле.
кажется, там все выкачено и запощено в доль и поперек.

Fubu_By · 19.04.2011, 17:39

Цитата:

Сообщение от dim7

пробовал качнуть книги с торентов и проверить в гугле.
кажется, там все выкачено и запощено в доль и поперек.

значит не пох на уникальность всё таки

sydoow · 20.04.2011, 09:20

Цитата:

Сообщение от dim7

пробовал качнуть книги с торентов и проверить в гугле.
кажется, там все выкачено и запощено в доль и поперек.

Это не удивительно

Но ТС на уник было пох.

0xJah · 20.04.2011, 14:49

Уник/не уник - это миф...
Вчера спарсил 40к статей с одного каталога статей. О том как все это проиндексируется могу отписать через пару месяцев, если руки до этого вообще дойдут

valet · 29.05.2011, 04:40

По идее уник найти в интернете нереально. Постановка вопроса неправильная. Раз мы его смогли найти - и его скопируем - это уже неуник.

Книги казалось бы вариант, но и там уже все отпарсено и создано тону сателитов-доров на них.