(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211059371.8 (22)申请日 2022.08.31 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市栖霞区文苑路9 号 (72)发明人 徐小龙　朱梦　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 刘子奇 (51)Int.Cl. G06F 40/284(2020.01) G06F 40/35(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向智能对话系统的意图识别及槽位填充 联合优化方法 (57)摘要 本发明公开了面向智能对话系统的意图识 别及槽位填充联合优化方法， 包括： 对每条指令 语句进行分词， 得到一个单词序列， 并在每条序 列前面添加句子开始占位 符[CLS]， 得到序列ω； 将ω作为输入传给Bert预训练层进行编码， 得到 词向量特征(c0,c1,…cn)； 将C＝(c1,c2,…cn)分 别通过两个双向长短时记忆网络结构提取意图 上下文向量信息hID和槽位上下文向量信息hSF； 将特征向量c0分别与hID各个时刻的向量进行拼 接， 得到 和OID； 将意图‑槽位融合矩阵e 和特征向量ci进行拼接， 得到槽位向量， 将每个 向量 传递到分类器计算出概率值最大的索引 号。 本发明提供了面向智能对话系统的意图识别 及槽位填充联合优化方法， 可以取得较高的准确 率， 在智能对话系统中具有良好的实用性。 权利要求书3页 说明书9页 附图1页 CN 115481628 A 2022.12.16 CN 115481628 A 1.面向智能对话系统的意图识别及槽位 填充联合优化方法， 其特 征在于， 包括： 对每条指令语句进行分词， 得到一个单词序列， 并在每条序列前面添加句子开始占位 符[CLS]， 得到序列ω， ω＝(ω0， ω1，…,ωn)， 其中， ω0表示占位符[CLS]， ω1、…、 ωn表示 序列； 将序列ω作为输入传给Ber t预训练层进行编码， 得到词向量特 征(c0,c1,…cn)； 将C＝(c1,c2,…cn)分别通过两个双向长短时记忆网络结构提取意图上下文向量信息 hID和槽位上 下文向量信息 hSF； 将特征向量c0分别与意图上下文向量信息hID各个时刻的向量进行拼接， 得到单词级别 意图分类概 率 单词的意图分类标签 和句子级别的意图分类结果OID； 将意图‑槽位融合矩阵e和特征向量ci进行拼接， 得到槽位向量 将每个向量 传递到分类 器计算出概 率值最大的索引号。 2.如权利要求1所述的面向智能对话系统的意图识别及槽位填充联合优化方法， 其特 征在于： 所述双向长短时记 忆网络结构的运 算包括， 对矩阵C＝(c1,c2,…cn)分别进行正向时序计算和反向时序计算得到的向量的拼接， 所 述正向时序计算包括按照(c1,c2,…cn)进行时序运算， 所述反向时序计算包括按照矩阵C＝ (c1,c2,…cn)反向排列的顺序(cn,cn‑1,…c1)进行时序运 算。 3.如权利要求2所述的面向智能对话系统的意图识别及槽位填充联合优化方法， 其特 征在于： 所述 正向时序运 算的矩阵的获取包括， 每一列向量按照从左到右的方式进行时序计算包括， ct＝ft·ct‑1+gt·it 其中， ct表示矩阵Cbert第t列的列向量， ct、 表示在每次计算完成后得到记录信息的两 个向量， it、 ft、 ot、 gt表示ct、 参与下一次的运算得到的四个中间向量， Ei、 Ef、 Eo、 Eg表示生 成中间向量it、 ft、 ot、 gt时对输入 向量k<t>的权重转移矩阵， Ui、 Uf、 Uo、 Ug表示生成中间向量 it、 ft、 ot、 gt时对前一次运算得到的向量ct‑1的权重转移矩阵， bi、 bf、 bo、 bg表示计算中间向量 it、 ft、 ot、 gt时添加的偏置 向量， σ、 ta表示激活函数， exp表示指数函数， ·表示将参与运算 向量中同一位置的元素进 行相乘并得到一个同样维度的向量的运算， 将 每次计算所得到的 依次排序， 将得到正向时序运算 的矩阵； 同样的， 按照词运算可以得到反向时序运算的 矩阵。权　利　要　求　书 1/3 页 2 CN 115481628 A 24.如权利要求3所述的面向智能对话系统的意图识别及槽位填充联合优化方法， 其特 征在于： 所述单词级别意图分类概率 单词的意图分类标签 和句子级别的意图分类 结果OID的获取包括， 将所述占位符[CLS ]对应的特征向量c0分别与意图上下文向量信息hID各个时刻的向量 进行拼接， 得到单词级别的意图信息向量 IID； 将所得到的单词级别的意图信息向量IID输入分类器 得到单词级别意图分类概率 和 单词的意图分类标签 进而得到句子级别的意图分类结果OID。 5.如权利要求4所述的面向智能对话系统的意图识别及槽位填充联合优化方法， 其特 征在于： i时刻得到单词级别的意图信息向量 的计算包括， 其中， concat表示水平拼接的操作， c0表示占位符[CLS]对应的特征向量， 表示i时 刻对应的意图上 下文向量信息 。 6.如权利要求1～5任一所述的面向智能对话系统的意图识别及槽位填充联合优化方 法， 其特征在于： 利用softmax函数计算所述单词级别意图分类概率 利用argmax函数 计算单词的意图分类标签 的步骤包括， 将所得到的每 个时刻的意图信息向量 输入到一个前馈神经网络中得到si， 其中， WID表示前馈神经网络的权 重矩阵， bID是表示前馈神经网络的偏置； 利用softmax层进行 单词级别的意图分类， 得到单词级别意图分类概 率 利用argmax函数计算单词的意图分类标签 7.如权利要求6所述的面向智能对话系统的意图识别及槽位填充联合优化方法， 其特 征在于： 所述句子级别的意图分类结果OID的计算包括， 其中， n表示句子的长度， nI表示意图标签的数量， 表示指示函数， αj表示0‑1向量 argmax表示返回α 中最大值的索引的操作。 8.如权利要求7所述的面向智能对话系统的意图识别及槽位填充联合优化方法， 其特 征在于： 所述 意图‑槽位融合矩阵e的获取包括，权　利　要　求　书 2/3 页 3 CN 115481628 A 3