"Записки научных семинаров ПОМИ"
Том 540, стр. 276-350
Применения больших языковых моделей для задач порождения и обработки программного кода
В. М. Ломшаков, С. И. Николенко
Санкт-Петербургское отделение Математического института им. В. А. Стеклова РАН,
191023, наб. р. Фонтанки, 27, Санкт-Петербург, Россия
vadim.lomshakov@gmail.com
Университет ИТМО, Санкт-Петербург, Россия;
Санкт-Петербургское отделение Математического института им. В. А. Стеклова РАН,
191023, наб.р. Фонтанки, 27, Санкт-Петербург, Россия
sergey@logic.pdmi.ras.ru
- Аннотация:
В последние годы большие языковые модели (Large Language Models, LLM)
существенно изменили подходы к автоматизации программирования,
предоставляя мощные инструменты для порождения, исправления и оптимизации кода.
В настоящем обзоре мы рассматриваем методы адаптации LLM к задачам программирования,
включая обучение с подкреплением на основе человеческих предпочтений (RLHF),
дообучение следованию инструкциям (instruction tuning), адаптивные подходы (PEFT)
и эффективные стратегии промптинга (prompting). Мы систематизируем
современные методы дообучения и применения моделей, обсуждаем их преимущества
и ограничения, рассматриваем актуальные датасеты для задача порождения
и исправления кода и метрики их оценивания, а также описываем передовые
модели с открытыми весами для работы с кодом.
Библ. -- 145 назв.
- Ключевые слова: большие языковые модели, порождение программного кода,
обучение с подкреплением, обучение следованию инструкциям, LLM-агенты
[large language models, source code generation, reinforcement learning,
instruction tuning, LLM-based agents]
Полный текст(.pdf)