Яндекс Метрика
cs.CL, cs.AI, cs.LG

Система ответов на вопросы на основе обусловленного LSTM-декодера и двунаправленного внимания

Heguang Liu02.05.2019

В данной работе представлена модель вопросно-ответной системы, использующая слой двунаправленного потока внимания в сочетании с многослойным LSTM-кодировщиком. Автор предлагает новый слой декодера для определения конечного индекса ответа, работа которого обусловлена выходными данными декодера начального индекса. Эксперименты показали, что такой подход повышает производительность модели на 15,16%. Для улучшения точности предсказаний в статье также предложено новое уравнение «умного диапазона» (smart-span).

Автор представляет систему ответов на вопросы (QA), использующую двунаправленное внимание и многослойный LSTM-кодировщик. Главным нововведением стал декодер конечного индекса ответа, работа которого напрямую зависит от предсказанного начала фразы, что значительно повышает точность локализации ответов в тексте.

Heguang Liu