Определение слов

[beabetters]

Может кто знает как решается такая задача?
Сейчас для одного проекта встала такая задача, необходимо определить "одинаковость" слов. Например, две фразы:
- Иванову выслали поздравление
- Иванова поздравили письмом
В обоих фразах нет ни одного одинакового слова (по точному вхождению), но по сути есть одно и то же слово "Иванов". Вот как это программным путем определить? Имеется ввиду алгоритм. Такое часто можно встретить в различных сервисах, тот же гугл или даже вконтакт, к примеру задаю в поиске слово "стартап", но поиск выдает результаты в которых встречаются слова "стартап", "стартапу", "стартапа", "стартапы" и пр. Врядли такие сервисы имеют базы всех существующих "одинаковых" слов о_0. Скорее всего это как-то программно решается? Или я чего то туплю...

[bess]

Врядли такие сервисы имеют базы всех существующих "одинаковых" слов

оно так и есть

[Diplomat]

Рекомендую ознакомиться http://ru.wikipedia.org/wiki/Расстояние_Левенштейна
В php была функция, вродь. Сам не использовал только читал.

[1een]

Возможно, поможет (не пробовал, встречал упоминания)

[beabetters]

Сообщение от Diplomat

Рекомендую ознакомиться http://ru.wikipedia.org/wiki/Расстояние_Левенштейна
В php была функция, вродь. Сам не использовал только читал.

спс, во чо нашел реализации алгоритма Левенштейна на разных языках программирования
ну щас разбираться с этим голова лопнет) завтра попробую разобраться

Сообщение от 1een

Возможно, поможет (не пробовал, встречал упоминания)

во, походу это и есть то что нужно, спасибо!

[Nou]

Для простой морфологии подойдет стеммер портера

[chesser]

со стеммингом сложнее будет, расстояние Левенштейна более универсально.
Только я бы все равно проводил предварительную нормализацию текста, например, приведение всех слов к одинаковому регистру и замену пробельных знаков одним пробелом и тд

[pablobablo]

http://php.net/manual/ru/function.levenshtein.php

[beabetters]

Всем спасибо, для моих целей вариант предложенный 1een больше всего подходит, более того подходит как нельзя лучше. Применять на практике пока не было времени.

[Venya Tolinov]

Попробую разбавить безнадёжный оптимизм ложкой дёгтя. Задача соответствия фразы из двух слов другой фразе из двух слов в общем виде неразрешима. Тупая синонимизация в произвольных частях речи ресурсов жрёт нормально, причём для такой работы базу надо собирать самому. Когдя я этим заморачивался у меня для русского языка была база в 16 млн. слов. Кое что я уже писал http://gofuckbiz.com/showthread.php?t=30527
Для двух слов понадобится база... умножать умеете?