Лемматизация – механизм алгоритма поисковой системы, который преобразовывает словоформы в леммы и этим самым облегчает индексирование. Термин «лемматизация» восходит к дисциплине языкознание и представляет собой отдельную прикладную дисциплину, необходимую для морфологического анализа текстов, при котором все его словоформы приводятся в начальную форму. В русском языке лемма – это существительное в единственном числе и именительном падеже, для глаголов лемма — инфинитив.
Предназначение лемматизации в поисковых алгоритмах
Проводя индексацию, поисковая система осуществляет анализ словоформ: их количество прямо пропорцианально затраченному количеству времени. Уменьшение количества словоформ в свою очередь приводит к повышению скорости индексирования и повышает его эффективность. Лемматизаторы справляются с этой задачей, преобразовывая множество словоформ в леммы. Эти программы доступны для свободного скачивания в интернете и не являются засекреченным достоянием поисковых систем. Лемматизаторы часто применяются веб-мастерами, чтобы создать собственный поиск на сайте. Поскольку далеко не все веб-мастера могут воспользоваться услугами хостингов, на которых может проводиться обработка большого количества информации, данная программа является очень удобной. Индексаторы малых поисковых систем на отдельных сайтах не могут быть слишком большими. Механизм лемматизации помогает уменьшить их объем, а программа-лематизатор отвечает за работоспособность всей конструкции.Кроме того, лемматизация применяется поисковыми системами для оценки уникальности контента сайта. Для решения этой проблемы поисковая система все словоформы сводит к леммам. Далее весь текст разбивается на шинглы и проверяется на совпадения.
Однако основное предназначение лемматизации – это совершенствование релевантности поиска. Преобразуя все словоформы в леммы, поисковая система может отфильтровать все нерелевантные документы.
Войти