В данной работе представлены новые подходы к использованию контекста всего предложения для улучшения качества нейронного машинного перевода (НМП). Авторы демонстрируют, что даже «поверхностный» контекст, извлеченный только из верхнего слоя кодировщика, повышает точность перевода за счет контекстуализации представлений отдельных слов. Кроме того, вводится понятие «глубокого» контекста, который объединяет информацию со всех внутренних слоев кодировщика. Это позволяет сформировать более комплексное представление предложения и значительно улучшить результаты модели.
Исследование посвящено улучшению нейронного машинного перевода за счет более глубокого использования контекста всего предложения. Авторы предлагают методы извлечения «поверхностного» и «глубокого» контекста, которые позволяют точнее кодировать значения отдельных слов в зависимости от их окружения. Это решение помогает моделям лучше понимать смысл текста и значительно повышает качество итогового перевода.