Найти общие элементы.

[WebNinja]

Здарова брОтва! я снова в деле. вообщем встала задача такого плана, найти общие элементы у множества документов (в данном случае это страницы ХТМЛ). Ну как бы понятно примерно как это сделать, но как сделать получше, не изобретая велосипед, а главное быстро по скорости.

100% есть чОткие парни которым уже подобные штуки были нужны, я в этом не сомневаюсь. Интересует вообщем алгоритм или возможно какие-нибудь разработки по этой теме (в виде ссылок).

[gcc]

локально или краулер интересует?

[1een]

из сети: hrefer, не?

локально: есть такая программа textpipe. и там вроде как, есть такая функция extract - наверное, то - что нужно, как я понял

[JMen]

1 - определиться что будешь искать, сходство в тексте или сходство во всём (тегах и т.д.)
2 - нужно составить словарь того в чём будешь искать сходство для каждого документа
3 - сравнивать словаря поэлементно, считая кол - во совпадений (тут можно заюзать готовые функции пшпшные для нечёткого сравнения строк)

Главная беда в том, что сложно определить что именно будет элементом словаря. Ответь на 1 вопрос - тогда дальше продолжу.

[Nou]

Алгоритмы кластеризации тебе в помощь

[WebNinja]

локально все, ща кормена листаю.

да, да, походу словарь поможет бля это будет пипец долго.

[JMen]

Для большого кол - ва документов - да, долго... Софт придётся писать на си и компилить, так - же придётся разработать формат хранения для быстрой выборки.

Если будешь поиск по тексту организовывать (сходство текста) - попробуй делить на словоформы и использовать точное сравнение. Это ускорит операции намного.

Так - же поможет распаралеливание, благо компы счас дешёвые.

[WebNinja]

http://groups.google.com/group/comp....97eca489d796ec

все чОтко, бодрячком пацанчики, дежимся бодрячком )
питон клевый, мне нравится )