"Записки научных семинаров ПОМИ"
Том 540, стр. 6-26
Русскоязычное автоматическое реферирование: можно ли решить проблему ограниченности данных архитектурой?
А. Ахметгареева, А. Абрамов, И. Кулешов, В. Лещук, А. Феногенова
SberDevices
albina.akhmetgareeva@gmail.com
andril772@gmail.com
leshhuk3@gmail.com
alenush93@gmail.com
SberDevices, HSE University, St. Petersburg
kul757.48@mail.ru
- Аннотация:
В данной работе исследуется проблема автоматического реферирования, акцентируя
внимание на её значимость, вызовы и методы, особенно в контексте русского языка.
Мы выделяем ограничения текущих метрик оценки и наборов данных,
которые представляют различные сценарии реферирования. В работе изучены
различные подходы, включая форматы контролируемого обучения, сравнение моделей,
предназначенных для русского языка, и обладающих кросс-языковыми возможностями,
а также влияние настройки обучения с подкреплением на конечные результаты.
Вклад работы включает изучение задачи реферирования для русского языка,
публикацию набора данных на основе инструкций и лучшей открытой модели,
а также перспективы для дальнейших достижений в данной области.
Библ. -- 43 назв.
- Ключевые слова: абстрактивное реферирование, русский язык, языковые модели, RLHF
[abstractive summarization, Russian language, language models, RLHF]
Полный текст(.pdf)