Автоматическое извлечение терминологии из научных текстов представляет собой одну из ключевых задач компьютерной лингвистики и информационного поиска. В последние годы значительный прогресс в области обработки естественного языка связан с развитием больших языковых моделей, способных решать широкий спектр задач без специализированного обучения. Однако эффективность таких моделей в задачах терминологического извлечения, особенно для текстов на русском языке, остается малоизученной областью. Также актуальность проблемы обоснована дефицитом специализированных инструментов и размеченных корпусов по сравнению с англоязычными аналогами. Данное исследование направлено на сравнительный анализ способностей трех современных языковых моделей — GPT4o [1], Claude 3.5 Sonnet [2] и DeepSeek [3] — извлекать термины из научных аннотаций на русском языке. В качестве материала исследования использован датасет CL-RuTerm3 [4] — вручную размеченный корпус русскоязычных аннотаций статей конференции «Диалог» за период 2000- 2023 гг., насчитывающий 850 текстов. Данный датасет на сегодняшний день является наиболее объемным из открытых русскоязычных ресурсов для решения задачи извлечения терминов. Исследование проводилось в трех вариациях, различающихся объемом анализируемых текстов: по 5, 10 и 20 аннотаций. Для всех экспериментов использовался унифицированный промпт, включающий: 1) демонстрацию примеров текстов с соответствующими им размеченными терминами (few-shot подход); 2) четкую инструкцию о формате представления результатов; 3) требование сохранять исходную форму термина, как она встречается в тексте. Каждой модели предоставлялись фрагменты в формате JSON, содержащие идентификатор текста и саму аннотацию. Модель должна была вернуть список извлеченных терминов для каждого текста в заданном формате. Пример промпта: «Пример текстов: {"id": "1", "text": "{реферат}"}. Пример извлеченных терминов: {"id": "1", "label": "термин"}. Извлеки термины из следующих текстов: {"id": "1", "text": "{реферат}"} в таком же формате». Для автоматизированной оценки качества извлечения терминов был разработан алгоритм сравнения результатов работы моделей с эталонной разметкой. Сначала проводилась предварительная обработка данных, включающая лемматизацию извлеченных терминов с использованием библиотеки Mystem [5] и приведение к единому регистру. Затем для каждого текста вычислялись стандартные метрики качества: 1) точность (precision) — доля правильно извлеченных терминов среди всех извлеченных; 2) полнота (recall) — доля правильно извлеченных терминов среди всех эталонных; 3) F1-score — гармоническое среднее между точностью и полнотой; 4) аккуратность (accuracy) — доля правильно извлеченных терминов относительно эталонной разметки. В конце производилось вычисление средних значений метрик каждой модели в каждом эксперименте. Агрегированные результаты представлены в табл. 1. Т а б л и ц а 1. Результаты экспериментов Модель Количество аннотаций Precision Recall F1-score Accuracy GPT-4o 5 0,4877 0,3112 0,3613 0,3112 10 0,5458 0,3350 0,4019 0,3350 20 0,5396 0,3060 0,3751 0,3060 Claude 3.5 Sonnet 5 0,6242 0,3716 0,4519 0,3716 10 0,6222 0,3021 0,3923 0,3021 20 0,6901 0,2857 0,3882 0,2857 DeepSeek 5 0,5252 0,4333 0,4447 0,4333 10 0,5773 0,3632 0,4312 0,3632 20 0,5882 0,3076 0,3884 0,3076 Claude 3.5 Sonnet демонстрирует наивысшую точность (до 0.6901 при 20 аннотациях), но низкую полноту (0.2857), что свидетельствует о ее склонности к консервативному отбору терминов. DeepSeek показывает лучший баланс между полнотой и точностью, а GPT-4o остается самой стабильной по F1- score на разных объемах данных. Также было проведено сравнение лучших результатов моделей с результатами победителей публичного соревнования RuTermEval-2024 [6] по треку 1. Сравнение по F1-score представлено в табл. 2. Т а б л и ц а 2. Сравнение результатов моделей и победителей соревнования RuTermEval-2024 Модель / участник F1-score fulstock (1 место) 0,794 VladSemak (2 место) 0,769 ivan_da_marya (3 место) 0,562 ragunna (4 место) 0,535 Claude 3.5 Sonnet 0,4519 DeepSeek 0,4447 GPT-4o 0,4019 Как видно из таблицы, ни одна из протестированных LLM не смогла достичь уровня победителей соревнования. Наилучший F1-score среди моделей (Claude 3.5 Sonnet — 0.4519) оказался ниже, чем у участника, занявшего 3 место (0.562). Это указывает на необходимость дальнейшей адаптации больших языковых моделей для задачи извлечения терминов, например, через дообучение на специализированных корпусах или доработку промптов.