"Записки научных семинаров ПОМИ"
Том 499, стр. 137-205
Глубокое обучение для обработки естественных языков: обзор
Е. С. Архангельская, И. Николенко
Saarland University,
66123 Saarbr{\"u}cken, Germany
arkhangelskaya.ekaterina@gmail.com
С.-Петербургский государственный университет,
Университетская наб. 7/9,
199304 С.-Петербург;
С.-Петербургское отделение Математического института
им. В. А. Стеклова РАН,
наб. р. Фонтанки 27,
191023, Санкт-Петербург, Россия
s.nikolenko@spbu.ru, sergey@logic.pdmi.ras.ru
- Аннотация:
За последние десять лет модели, основанные на глубоких нейронных сетях,
произвели настоящую революцию в машинном обучении. Нейросетевые архитектуры
стали основополагающим методом для многих разных прикладных областей;
в этой работе мы даём обзор применений глубокого обучения к обработке
естественных языков (natural language processing, NLP).
Сначала мы даём краткий обзор основных понятий и архитектур глубокого обучения,
в том числе недавних разработок, которые оказываются особенно важными для задач NLP.
Затем мы даёт обзор распределённых представлений слов, показывая и то,
как представления слов могут быть расширены до предложений и абзацев,
и то, как слова могут быть далее разделены на части в моделях,
основанных на символах. Основная часть обзора обсуждает различные
глубокие нейросетевые архитектуры, которые либо появились специально
для задач NLP, либо стали основным методом для них; к таким задачам относятся
анализ тональности, синтаксический анализ, машинный перевод, диалоговые агенты,
ответы на вопросы и другие приложения. \textbf{Важное замечание}:
этот обзор был написан в 2016 г. и отражает состояние дел в области на тот момент.
Хотя глубокое обучение развивается очень быстро, и все изложенные здесь
направления уже получили существенное дальнейшее развитие, мы надеемся, что этот
текст всё ещё может быть полезен как обзор уже ставших классическими работ
в данной области и как систематическое введение в глубокое обучение для обработки
естественных языков.
Библ. -- 356 назв.
- Ключевые слова: глубокое обучение, обработка естественных языков
[Deep learning, natural language processing
Полный текст(.pdf)