(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211023077.1 (22)申请日 2022.08.25 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 彭闯　陈思萌　卢晓喻　赵建强　 韩名羲　金辉　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 16/9536(2019.01) G06F 40/247(2020.01)G06F 40/284(2020.01) G06F 40/289(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/00(2012.01) (54)发明名称 基于多模态检索和关键词提取的社交文本 增强方法与系统 (57)摘要 本申请提出了一种基于多模态检索和关键 词提取的社交文本增强方法， 包括： S1、 利用类别 关键词抽取算法提取不同类别样本语句中的关 键词； S2、 采用RNN模型结合自注意力机制的方 式， 利用训练样本训练得到句子的生成模型， 并 根据所述训练样本对应类别的关键词控制所述 生成模型的句子生成方向； S3、 将原始语句输入 到所述生 成模型中， 生成文本增强的第一生成语 句； S4、 基于多模态 检索算法， 判断所述第一生成 语句是否存在所述关键词文件中的关键词， 若 是， 则在所述第一生成语句中找出需要替换的关 键词， 并检索出所述需要替换的关键词的近义词 进行替换， 从而生成多个数据增强的第二生成语 句。 本申请具有能够对生成模型的生成方向、 生 成数量进行控制的效果。 权利要求书2页 说明书9页 附图3页 CN 115408495 A 2022.11.29 CN 115408495 A 1.一种基于多模态检索和关键词提取的社交文本增强方法， 其特征在于， 包括以下步 骤： S1、 利用类别关键词抽取算法提取不同类别样本语句中的关键词， 得到包含不同类别 关键词集 合的关键词文件； S2、 采用RNN模型结合自注意力机制的方式， 利用训练样本训练得到句子的生成模型， 并根据所述训练样本对应类别的所述关键词集合中的关键词控制所述生成模型的句子生 成方向； S3、 将原始语句输入到所述 生成模型中， 生成文本增强的第一 生成语句； 以及 S4、 基于多模态检索算法， 判断所述第一生成语句是否存在所述关键词文件中的关键 词， 若是， 则在所述第一生 成语句中找出需要替换的关键词， 并检索出所述需要替换的关键 词的近义词进行替换， 从而生成多个数据增强的第二 生成语句。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S1具体包括： S11、 将所述样本语句划分成2字词和3字词， 利用凝固度算法计算每个词语的凝固度， 并对凝固度低于预设阈值的词语再次进行分词操作， 得到最终的词语集 合； S12、 采用信息熵算法和TF ‑IDF算法衡量所述词语集合 中每个词语的有效性， 根据衡量 结果筛选出关键词。 3.根据权利要求1所述的方法， 其特征在于， 所述生成模型顺序包括嵌入层、 双向LSTM 模型、 注意力层和单向LSTM模型， 所述 步骤S2具体包括： S21、 在所述嵌入层对所述训练样本分词后转化为第 一词向量， 在所述训练样本对应类 别的所述关键词集 合中随机 选择关键词并转 化为第二词向量； S22、 利用所述双向LSTM模型对所述第一词向量和所述第二词向量进行双向串联输出； S23、 所述注意力层对输出后的所述第一词向量和所述第二词向量进行注意力机制的 降维并分别输出第一输出向量和第二输出向量； S24、 对所述第一输出向量和所述第二输出向量进行向量拼接得到编码向量， 所述单向 LSTM模型对所述编码向量进行解码生成句子 。 4.根据权利要求3所述的方法， 其特征在于， 在所述步骤S22中， 所述第 一词向量的最后 一个编码输出和所述第二词向量进行自注意力机制联合编码。 5.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S4具体包括： S41、 利用收集的训练语料进行分词并转化为第三词向量， 采用Skip ‑Gram模型对所述 第三词向量进行训练得到词向量模型； S42、 将所述第一生成语句输入所述词向量模型， 判断并找出所述需要替换的关键词， 根据所述需要替换的关键词在所述词向量模型中找到对应的具体词向量； S43、 通过余弦相似度计算所述具体词向量与其它所述第 三词向量的相似度， 根据计算 结果找出 所述近义词。 6.根据权利要求5所述的方法， 其特征在于， 所述步骤S43具体包括： 根据 所述关键词文 件将所述词向量模型中的所述第三词向量划分成不同类别， 利用哈希函数将不同类别的所 述第三词向量保存到不同位置的哈希地址中， 通过余弦相似度计算所述具体词向量与对应 哈希地址内的所述第三词向量的相似度， 根据计算结果找出 所述近义词。 7.根据权利要求2所述的方法， 其特征在于， 所述步骤S12中所述根据衡量结果筛选出权　利　要　求　书 1/2 页 2 CN 115408495 A 2关键词具体包括： 对所述词语集合中的词语的信息熵值和TF ‑IDF值进行加权求和， 求得所 述词语集 合中的词语的特 征分数， 根据所述特 征分数筛 选出关键词。 8.根据权利要求1所述的方法， 其特征在于， 在所述步骤S4中， 根据第一预设数量， 在所 述第一生成语句包含的所有关键词中， 随机采样出所述第一预设数量的所述需要替换的关 键词， 根据第二预设数量， 生成所述第二预设数量的所述第二 生成语句。 9.一种基于多模态检索和关键词提取的社交文本增强系统， 其特 征在于， 包括： 关键词文件获取模块， 配置用于利用类别关键词抽取算法提取不同类别样本语句中的 关键词， 得到包 含不同类别关键词集 合的关键词文件； 生成模型构建模块， 配置用于采用RNN模型结合自注意力机制的方式， 利用训练样本训 练得到句子的生成模型， 并根据所述训练样本对应类别的所述关键词集合中的关键词控制 所述生成模型的句子生成方向； 文本增强模块， 配置用于将原始语句输入到所述生成模型中， 生成文本增强的第一生 成语句； 数据增强模块， 配置用于基于多模态检索算法， 判断所述第一生成语句是否存在所述 关键词文件中的关键词， 若是， 则 在所述第一生成语句中找出需要替换的关键词， 并检索出 所述需要替换的关键词的近义词进行替换， 从而生成多个数据增强的第二 生成语句。 10.一种计算机可读储存介质， 其储存有计算机程序， 所述计算机程序在被处理器执行 时实施如权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115408495 A 3