课题类别：华商学院校内导师制科研项目
课题批准号：2019hsds20
经费资助：6万元
项目负责人:朱峡
指导教师：刘文正（湖南大学）
成果：朱峡（zhu, xia）rnn language processing model-driven spoken dialogue system modeling method,computational intelligence and neuroscience, 2022(02)doi:10.1155/2022/6993515（a类，sci jcr 1区）
rnn language processing model-driven spoken dialogue system modeling method.pdf
主要观点：
口语对话系统（sds）由自动语音识别、口语理解（slu）、对话管理、语言生成、语音合成等组成。slu 性能对于 sds 非常重要。slu 系统是 sds 的关键组成部分，有助于计算机“理解”语音识别模块识别的文本。slu 的一项重要任务是对语义意图进行分类并自动提取填充嵌入语义框架中的一组参数，以实现人机对话的目标。slu的目标是自动识别用户口语的领域、类别和意图，以表达自然语言，然后提取相关概念，以达到系统理解用户语言的目的。通过语音识别，计算机将其转换为相应的文本信息，然后由 slu 处理。slu的基础是将单词表示为机器可以阅读的符号，即单词。在 slu 的任务中，主要是给输入文本句子中的每个单词打上相应的标签，而解决 slu 最有效的模型算法就是 rnn。近年来，nn 方法在各种自然语言处理 (nlp) 任务中表现出显着的性能，尤其是基于循环神经网络 (rnn) 的方法，如语言模型、语言语义理解和机器翻译。
本文采用rnn 及其变体来提高 slu 的性能。在此基础上，提出了一种基于rnn的sds语言理解方法。在 sds 中，用户对于当前语句的含义的理解与会话历史有很强的相关性，因此可以利用这些信息来推断当前语句的含义。分析结果显示如果有整句分析结果，则选择得分最高的路径进行语义提取；否则，在概念图示上寻找最优路径，根据对话管理的上下文进行语义提取。
学术价值及创新点：口语的语音识别和语义理解是决定sds中对话系统性能的关键成份。在sds 的研究中，slu 性能的提升至关重要。rnn通过影响输入文本序列信息的相的因素，可以预测下一个文本信息。本文引入rnn语言模型的概率分数，对识别的中间结果进行重新评分。本文提出一种结合rnn模型来优化解码过程并提高语言模型对测试数据的词序列概率计算精度的方法，针对解决测试数据与训练数据不匹配的问题。实验结果表明，本文提出的方法可以有效提高识别系统在测试集上的性能并有可能获得更高的slu分数，这对于对未来口语对话和slu问题的研究非常有价值。