Предложенная учеными НИТУ «МИСиС» технология может использоваться для улучшения качества информационного поиска и анализа данных в специализированных поисковых системах, предназначенных для научных и промышленных организаций — по отчетам, патентам, научным публикациям. Исследование по сегментации текстовых документов для оптимизации и 20%-ого ускорения поиска нужной информации пользователями было реализовано в рамках гранта Российского научного фонда.
Ученые решали задачу корректного поиска объемных документов, близких по смыслу. Обычно в больших сложных документах, особенно в рамках специализированных поисковых систем, содержится сразу несколько тем, что сильно затрудняет автоматический поиск. Исследователи предложили использовать метод сегментирования.
«Сегментирование документов — это деление текста на такие отрывки, в которых речь идет об одном и том же, что может быть полезно в разных задачах обработки естественного языка. К таким задачам, например, относится анализ больших документов или поиск по содержанию документа. С точки зрения прикладного машинного обучения сегментация длинных текстов обоснована, так как на коротких текстах обычно лучше работают различные методы векторизации. Это логично, ведь чем больше текст, тем больше в нем разных смыслов и тем сложнее агрегировать все эти смыслы в некоторое общее векторное представление», — рассказывает Никита Никитинский, научный сотрудник Центра исследования больших данных НИТУ «МИСиС».
Команда специалистов Центра совместно с коллегами из компании-промышленного партнера предложила следующее решение этой проблемы: разбить документ на несколько сегментов, каждый из которых относится к одной теме. По таким тематически однородным кускам текста компьютерному алгоритму проще производить поиск.
«В рамках исследования мы использовали метод, основанный на подходе аддитивной регуляризации тематических моделей (additive regularization of topic models, ARTM) и алгоритме TopicTiling. В результате экспериментов удалось улучшить точность работы узкоспециального поиска по научным публикациям с 57.3% до 82.4%», — добавил Никитинский.
По словам разработчиков, технология уже реализована в российском проекте создания Реестра обязательных требований (https://digital.gov.ru/ru/events/40486/).
По их оценкам, с использованием нового метода до
В настоящий момент похожие проблемы решают исследователи и инженеры из других крупных организаций, в том числе Университет Мангейма, французский исследовательский центр EURECOM и Google Research, которые в рамках своих исследований изучали публикации научного коллектива по этой теме — и в своих работах сослались на них.
