Яндекс Метрика
cs.CL, cs.LG

Языковые модели как системы обучения на малом количестве примеров для задачно-ориентированных диалоговых систем

Andrea Madotto, Zihan Liu, Zhaojiang Lin, Pascale Fung14.08.2020

Задачно-ориентированные диалоговые системы состоят из четырех взаимосвязанных модулей: понимания естественного языка (NLU), отслеживания состояния диалога (DST), управления стратегией (DP) и генерации ответов (NLG). Одной из главных проблем является обучение этих модулей на минимальном количестве данных (few-shot learning) из-за высокой стоимости сбора и разметки выборок. Наиболее эффективным методом решения этой задачи выступает трансферное обучение с использованием больших языковых моделей, предобученных на общих или специализированных текстах.

Исследование изучает применение языковых моделей для создания диалоговых систем с минимальным набором обучающих данных (few-shot learning). Авторы анализируют, как эффективно обучать ключевые модули — от понимания естественного языка до генерации ответов — без дорогостоящего сбора огромных датасетов. Это открывает путь к созданию специализированных чат-ботов с гораздо меньшими затратами ресурсов.

Andrea Madotto, Zihan Liu, Zhaojiang Lin, Pascale Fung