"Записки научных семинаров ПОМИ"
Том 540, стр. 214-232
MMA: борьба за ускорение многоязыковых моделей
Н. Сухановский, М. Рындин
Ivannikov Institute for System Programming of the Russian Academy of Sciences, Moscow, Russia
sukhanovskii.nl@ispras.ru
mxrynd@ispras.ru
- Аннотация:
В работе мы рассматриваем стандартный способ проектирования моделей для
обработки естественного языка: дообучение многоязыковой языковой модели,
в котором данные для целевой задачи на одном языке используются для
последующего решения этой задачи на другом целевом языке. Цель работы
-- определить, как популярные методы ускорения моделей машинного обучения
влияют на многоязыковые возможности моделей на основе трансформеров,
а также исследуем использование этих методов в различных комбинациях.
В результате мы получаем модель NERC, которая может эффективно работать
на CPU и сохраняет многоязыковые свойства для нескольких тестовых языков
после настройки и ускорения только с использованием данных на английском языке.
Библ. -- 24 назв.
- Ключевые слова: BERT, обрезание моделей, квантизация, NERC
[BERT, pruning, quantization, NERC]
Полный текст(.pdf)