"Записки научных семинаров ПОМИ"
Том 540, стр. 61-81
Эффективность методов извлечения персон
К. Зайцев
Higher School of Economics, Moscow, Russia
kzaytsev@hse.ru
- Аннотация:
В работе представлен анализ методов извлечения информации о участниках диалога
и оценка их производительности на русском языке. Для обучения моделей
для данной задачи набор данных Multi-Session Chat был переведен
на русский язык с использованием нескольких моделей перевода,
что привело к улучшению качества данных. Представлена метрика,
основанная на концепции F-меры, для оценки эффективности моделей извлечения.
Метрика использует обученный классификатор для определения участника диалога,
которому принадлежит персона. Эксперименты проводились на моделях MBart,
FRED-T5, Starling-7B, основанной на Mistral, и моделях Encoder2Encoder.
Результаты показали, что все модели продемонстрировали недостаточный уровень
полноты в задаче извлечения персон. Включение функции NCE Loss улучшило
точность модели за счет уменьшения полноты. Кроме того, увеличение размера
модели привело к улучшению извлечения персон.
Библ. -- 31 назв.
- Ключевые слова: извлечение персон, диалоговые датасеты,
seq2seq модели, датасет машинного перевода, сопоставление персон
[persona extraction, dialogue datasets, seq2seq models, translation dataset, persona matching]
Полный текст(.pdf)