(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211352892.2 (22)申请日 2022.11.01 (71)申请人 摩尔线程智能科技 （北京） 有限责任 公司 地址 100080 北京市海淀区海淀大街31号2 层209 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/242(2020.01) G06F 40/126(2020.01) G06F 16/35(2019.01)G06K 9/62(2022.01) (54)发明名称 一种词向量训练方法及 装置、 电子设备和存 储介质 (57)摘要 本公开涉及计算机技术领域， 公开了一种词 向量训练方法及装置、 电子设备和存储介质， 所 述方法包括： 确定目标词对应的词向量训练文 本， 其中， 所述词向量训练文本为所述目标词的 字典定义文本； 基于所述词向量训练文本， 利用 预设词向量模 型进行词向量训练， 确定所述目标 词对应的目标词向量。 本公开实施例可以准确生 成目标词对应的目标词向量， 有效提高了字词相 像、 语义不同的不同目标词的词向量 准确性。 权利要求书2页 说明书15页 附图3页 CN 115422932 A 2022.12.02 CN 115422932 A 1.一种词向量训练方法， 其特 征在于， 包括： 确定目标词对应的词向量训练文本， 其中， 所述词向量训练文本为所述目标词的字典 定义文本； 基于所述词向量训练文本， 利用预设词向量模型进行词向量训练， 确定所述目标词对 应的目标词向量。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述词向量训练文本， 利用预设 词向量模型进行词向量训练， 确定所述目标词对应的目标词向量， 包括： 对所述字典定义文本进行分词， 得到多个训练分词； 对所述多个训练分词进行初始化， 确定每 个训练分词对应的初始词向量； 将所述多个初始词向量输入所述预设词向量模型， 利用所述预设词向量模型进行词向 量训练， 确定所述目标词向量。 3.根据权利要求2所述的方法， 其特征在于， 在对所述字典定义文本进行分词之前， 所 述方法还 包括： 在所述目标词为组合词的情况下， 将所述目标词输入分词词典， 其中， 所述分词词典用 于进行分词； 所述对所述字典定义文本进行分词， 得到多个训练分词， 包括： 基于所述分词 词典， 对所述字典定义文本进行分词， 得到所述多个训练分词。 4.根据权利要求2或3所述的方法， 其特 征在于， 所述方法还 包括： 在所述字典定义文本中包括所述目标词的情况下， 将所述目标词整体作为一个训练分 词。 5.根据权利要求2或3所述的方法， 其特征在于， 所述将所述多个初始词向量输入所述 预设词向量模型， 利用所述预设词向量模型进行词向量训练， 确定所述目标词向量， 包括： 利用所述预设词向量模型对所述多个初始词向量依次进行编码处理， 确定所述字典定 义文本对应的文本向量； 利用所述预设词向量模型对所述文本向量进行解码处理， 得到所述目标词对应的预测 词向量； 确定所述文本向量和所述预测词向量之间的误差损失； 通过最小化所述 误差损失进行词向量训练， 确定所述目标词向量。 6.根据权利要求5所述的方法， 其特 征在于， 所述多个初始词向量的数目为 n； 所述利用所述预设词向量模型对所述多个初始词向量依次进行编码处理， 确定所述字 典定义文本对应的文本向量， 包括： 基于第1个初始词向量对应的权重， 对所述第1个初始词向量进行编码处理， 得到所述 第1个初始词向量对应的隐藏层向量； 基于第i个初始词向量对应的权重、 以及第i ‑1个初始词向量对应的隐藏层向量， 对所 述第i个初始词向量进行编码处理， 得到所述第i个初始词向量对应的隐藏层向量， 其中， i 是大于等于2且小于等于n的正整数； 基于编码权重对第n个初始词向量对应的隐藏层 向量进行编码处理， 得到所述文本向 量。 7.根据权利要求5所述的方法， 其特征在于， 所述利用所述预设词向量模型对所述文本权　利　要　求　书 1/2 页 2 CN 115422932 A 2向量进行解码处 理， 得到所述目标词对应的预测词向量， 包括： 基于解码权 重对所述文本向量进行解码处 理， 得到解码向量； 对所述解码向量进行归一 化处理， 得到所述预测词向量。 8.根据权利要求1至 3中任意一项所述的方法， 其特 征在于， 所述方法还 包括： 利用所述目标词向量执 行词向量评估 任务， 得到 评估结果； 在所述评估结果 不符合预设条件的情况 下， 调整所述预设词向量模型的结构参数； 基于所述词向量训练文本， 利用调整后的所述预设词向量模型进行词向量训练， 优化 所述目标词向量。 9.根据权利要求8所述的方法， 其特征在于， 所述词向量评估任务包括： 聚类任务、 文本 分类任务。 10.根据权利要求1至 3中任意一项所述的方法， 其特 征在于， 所述方法还 包括： 基于所述目标词及其对应的所述目标词向量， 生成目标词典。 11.一种词向量训练装置， 其特 征在于， 包括： 第一确定模块， 用于确定目标词对应的词向量训练文本， 其中， 所述词向量训练文本为 所述目标词的字典定义文本； 训练模块， 用于基于所述词向量训练文本， 利用预设词向量模型进行词向量训练， 确定 所述目标词对应的目标词向量。 12.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为调用所述存储器存储的指令， 以执行权利要求1至10 中任意 一项所述的方法。 13.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所述计算机 程序指令被处 理器执行时实现权利要求1至10中任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115422932 A 3