Курсовая: семантический поиск в сравнении с tf-idf

Информационный поиск представляет собой одну из центральных задач в области обработки естественного языка и компьютерной лингвистики. Под информационным поиском понимается процесс нахождения в документальном массиве тех материалов, которые релевантны информационному запросу пользователя [4]. На протяжении нескольких десятилетий развитие методов поиска шло по пути от простых лексических сопоставлений к всё более сложным моделям, учитывающим смысловое содержание текста. Рассмотрим теоретические основания двух принципиально различных подходов: статистического метода TF-IDF и семантического поиска на основе нейросетевых эмбеддингов. 1.1 Статистический подход: модель TF-IDF Метод TF-IDF (Term Frequency — Inverse Document Frequency) относится к классу векторных моделей представления текста и является одним из наиболее распространённых инструментов в задачах информационного поиска и ранжирования документов [4]. В основе данного подхода лежит представление документа в виде вектора числовых весов, каждый из которых отражает значимость конкретного термина в данном документе относительно всей коллекции.