"Записки научных семинаров ПОМИ"
Том 530, стр. 96-112
Переведите свою тарабарщину: состязательная атака в модели черного ящика на системы машинного перевода
А. Чертков, О. Цымбой, М. Паутов, И. Оселедец
Skolkovo Institute of Science and Technology, Moscow, Russia;
Institute of Numerical Mathematics, Russian Academy of Sciences
a.chertkov@skoltech.ru
Moscow Institute of Physics and Technology, Moscow, Russia;
Sber AI Lab, Moscow, Russia
tsimboy.oa@phystech.edu
Skolkovo Institute of Science and Technology, Moscow, Russia
mikhail.pautov@skoltech.ru
Skolkovo Institute of Science and Technology, Moscow, Russia;
Institute of Numerical Mathematics, Russian Academy of Sciences;
AIRI, Moscow, Russia
i.oseledets@skoltech.ru
- Аннотация:
Нейронные сети широко применяются в задачах обработки естественного языка в промышленных
масштабах и, возможно, чаще всего они используются в составе систем автоматического
машинного перевода. В этой работе мы представляем простой способ обмануть современные
инструменты машинного перевода при переводе с русского языка на английский и наоборот.
Используя новый безградиентный тензорный оптимизатор в модели черного ящика, мы показываем,
что многие инструменты онлайн-перевода, в частности Google, DeepL и Яндекс, могут как производить
неправильные или оскорбительные переводы для бессмысленных состязательных входных запросов,
так и отказываться переводить, казалось бы, безобидные фразы. Эта уязвимость может помешать
пониманию нового языка и просто ухудшить опыт пользователя при использовании систем машинного
перевода, и, следовательно, для улучшения перевода необходимы дополнительные улучшения этих инструментов.
Библ. -- 33 назв.
- Ключевые слова: обработка естественных языков, машинный перевод,
состязательные атаки, black-box оптимизация
[natural language processing, machine translation, adversarial attack,
black-box optimization]
Полный текст(.pdf)