Определение слов

[beabetters]

Может кто знает как решается такая задача?
Сейчас для одного проекта встала такая задача, необходимо определить "одинаковость" слов. Например, две фразы:
- Иванову выслали поздравление
- Иванова поздравили письмом
В обоих фразах нет ни одного одинакового слова (по точному вхождению), но по сути есть одно и то же слово "Иванов". Вот как это программным путем определить? Имеется ввиду алгоритм. Такое часто можно встретить в различных сервисах, тот же гугл или даже вконтакт, к примеру задаю в поиске слово "стартап", но поиск выдает результаты в которых встречаются слова "стартап", "стартапу", "стартапа", "стартапы" и пр. Врядли такие сервисы имеют базы всех существующих "одинаковых" слов о_0. Скорее всего это как-то программно решается? Или я чего то туплю...

[beabetters]

Сообщение от Venya Tolinov

Попробую разбавить безнадёжный оптимизм ложкой дёгтя. Задача соответствия фразы из двух слов другой фразе из двух слов в общем виде неразрешима. Тупая синонимизация в произвольных частях речи ресурсов жрёт нормально, причём для такой работы базу надо собирать самому. Когдя я этим заморачивался у меня для русского языка была база в 16 млн. слов. Кое что я уже писал http://gofuckbiz.com/showthread.php?t=30527
Для двух слов понадобится база... умножать умеете?

мне не для синонимизации, мне вообще не для дорвеев)

[Venya Tolinov]

Да хоть для ловли крабов) Задача сложная настолько что ей нет места для практического применения.

[beabetters]

Сообщение от Venya Tolinov

Да хоть для ловли крабов) Задача сложная настолько что ей нет места для практического применения.

мне функция эта нужна для тех же целей, для каких она у гугла используется, уже есть готовый алгоритм все реализуемо.

[Summer In Paris]

beabetters, тебе уже всё правильно посоветовали, скажу только про свой практический опыт - мы эту задачу для больших данных успешно решали через Sphinx. Может тебе тоже подойдёт.

[chesser]

Сообщение от Summer In Paris

beabetters, тебе уже всё правильно посоветовали, скажу только про свой практический опыт - мы эту задачу для больших данных успешно решали через Sphinx. Может тебе тоже подойдёт.

в сфинксе как раз стемминг.
надо выбирать из двух алгоритмов: основанных на морфологии(тот же стемминг) и алго схожими с расстоянием Левинштейна.
Первое точнее, но сложнее в реализации и дороже по ресурсам, второе быстрее, но менее точное и как-то так:

С точки зрения приложений определение расстояния между словами или текстовыми полями по Левенштейну обладает следующими недостатками:

При перестановке местами слов или частей слов получаются сравнительно большие расстояния;
Расстояния между совершенно разными короткими словами оказываются небольшими, в то время как расстояния между очень похожими длинными словами оказываются значительными.
wikipedia

[rombot]

Столкнулся со схожей проблемой в названии команд и игроков.
Но названия могут очень сильно разнится, к примеру:
Aab - FC Midtjylland
Aalborg - Midtjylland

Если вторую команду еще можно обработать скриптом, то первую как? Походу такие отличия нужно будет только вручную править?

[chesser]

rombot, расстояние по Левенштейну пробовал считать?

[rombot]

Сообщение от chesser

rombot, расстояние по Левенштейну пробовал считать?

Я попробую, отпишусь какие результаты выйдут в этой конкретной задаче.