Обучение с переносом знаний (transfer learning) от языков с богатыми ресурсами — эффективный способ улучшить распознавание речи для малоресурсных языков. Однако стандартные модели часто не могут эффективно использовать общие языковые закономерности, если целевые языки сильно различаются. Авторы предлагают использовать задачу автоматического перевода речи в текст в качестве вспомогательной. Это позволяет внедрить дополнительные знания о целевом языке и значительно повысить точность распознавания.
Авторы представляют новый метод улучшения распознавания речи для языков с малым количеством данных, используя технологии машинного перевода. Вместо стандартного переноса обучения предлагается интеграция задач «речь-в-текст», что помогает нейросети лучше понимать структуру редких языков через связь с распространенными. Такой подход существенно повышает качество работы глобальных голосовых сервисов и переводчиков.