(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111640894.7 (22)申请日 2021.12.2 9 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 蔡晓东　王湘晴　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 代理人 姜展志 (51)Int.Cl. G06F 30/20(2020.01) G06F 40/30(2020.01) G06F 119/02(2020.01) (54)发明名称 一种视频描述 生成方法、 装置以及存 储介质 (57)摘要 本发明提供一种视频描述生成方法、 装置以 及存储介质， 属于视频处理技术领域， 方法包括： S1： 导入待训练视频， 并构建编码器、 语义检测器 和解码器； S2： 通过编码器对待训练视频进行特 征分析， 得到待处理特征和视觉 特征； S3： 通过语 义检测器对待处理特征进行语义 分析， 得到语义 属性； S4： 通过解码器对视觉 特征进行解码， 得到 预测标签向量； S5： 对语义属性和预测标签向量 进行损失分析， 得到视频描述生成模型； S6： 通过 视频描述生成模 型对待描述视频进行视频描述， 生成视频描述结果。 本发明能够探索生成的描述 和视觉内容之间的相关性， 生成语义丰富的句 子， 充分地考虑了突出的特征， 提高了模型的准 确性。 权利要求书2页 说明书6页 附图2页 CN 114386260 A 2022.04.22 CN 114386260 A 1.一种视频描述 生成方法， 其特 征在于， 包括如下步骤： S1： 导入待训练视频， 并构建训练模型， 所述训练模型包括编码器、 语义检测器和解码 器； S2： 通过所述编码器对所述待训练视频进行 特征分析， 得到待处 理特征和视觉特征； S3： 通过所述语义检测器对所述待处 理特征进行语义分析， 得到语义属性； S4： 通过所述解码器对所述视 觉特征进行解码， 得到预测标签向量； S5： 对所述语义属性和所述预测标签向量进行损失分析， 得到 视频描述 生成模型； S6： 导入待描述视频， 通过所述视频描述生成模型对所述待描述视频进行视频描述， 生 成视频描述结果。 2.根据权利 要求1所述的视频描述生成方法， 其特征在于， 所述编码器包括2D ‑CNN卷积 神经网络和3D ‑CNN卷积神经网络， 所述 步骤S2的过程包括： 通过所述2D‑CNN卷积神经网络对所述待训练视频进行全局特 征提取， 得到全局特 征； 通过所述3D ‑CNN卷积神经网络对所述待训练视频进行运动特征提取， 得到运动特征， 并将所述全局特 征和所述 运动特征一并作为待处 理特征； 对所述全局特 征和所述 运动特征进行拼接， 得到 视觉特征。 3.根据权利要求2所述的视频描述 生成方法， 其特 征在于， 所述 步骤S3的过程包括： 对所述全局特 征进行全局特 征的语义分析， 得到多个全局特 征语义属性； 对所述运动特征进行运动特 征的语义分析， 得到多个运动特 征语义属性； 将所有的所述全局特 征语义属性和所有的所述 运动特征语义属性作为语义属性。 4.根据权利要求3所述的视频描述生成方法， 其特征在于， 所述全局特征包括多个全局 特征向量， 所述对所述全局特征进行全局特征 的语义分析， 得到多个全局特征语义属 性的 过程包括： 分别计算各个所述全局特征向量与 预设特征库中各个词向量的全局特征相似度， 得到 与各个所述全局特 征向量对应的多个全局特 征相似度； 按照全局特征相似度大小分别对与各个所述全局特征向量对应的多个全局特征相似 度进行排序， 得到与各个所述全局特 征向量对应的多个排序后全局特 征相似度； 利用Spacy  Tagging Tool工具分别对各个所述排序后全局特征相似度进行全局特征 的筛选， 筛选后得到与各个所述全局特 征向量对应的多个筛 选后全局特 征相似度； 将各个所述全局特征向量对应的前K个所述筛选后全局特征相似度所对应的词向量作 为全局特 征语义属性。 5.根据权利要求4所述的视频描述生成方法， 其特征在于， 所述运动特征包括多个运动 特征向量， 所述对所述运动特征进行运动特征 的语义分析， 得到多个运动特征语义属 性的 过程包括： 分别计算各个所述运动特征向量与所述预设特征库中各个所词向量的运动特征相似 度， 得到与各个所述 运动特征向量对应的多个运动特 征相似度； 按照运动特征相似度大小分别对与各个所述运动特征向量对应的多个运动特征相似 度进行排序， 得到与各个所述 运动特征向量对应的多个排序后运动特 征相似度； 利用所述Spacy  Tagging Tool工具分别对各个所述排序后运动特征相似度进行运动 特征的筛选， 筛选后得到与各个所述 运动特征向量对应的多个筛 选后运动特 征相似度；权　利　要　求　书 1/2 页 2 CN 114386260 A 2将各个所述运动特征向量对应的前K个所述筛选后 运动特征相似度所对应的词向量作 为运动特征语义属性。 6.根据权利要求1所述的视频描述 生成方法， 其特 征在于， 所述 步骤S4的过程包括： 基于LSTM 长短期记 忆网络对所述视 觉特征进行解码， 得到预测标签向量。 7.根据权利要求1所述的视频描述 生成方法， 其特 征在于， 所述 步骤S5的过程包括： 利用交叉熵损失算法计算所述语义属性和所述预测标签向量的损失值， 得到损失值； 根据所述损失值对所述解码器进行参数更新， 并返回步骤S2， 直至达到预设迭代次数， 将更新后的训练模型作为视频描述 生成模型。 8.根据权利要求1所述的视频描述 生成方法， 其特 征在于， 所述 步骤S4之后还 包括： 根据预设语料库对所述预测标签向量进行检索， 得到 视频描述信息 。 9.一种视频描述 生成装置， 其特 征在于， 包括： 模型构建模块， 用于导入待训练视频， 并构建训练模型， 所述训练模型包括编码器、 语 义检测器和解码器； 特征分析模块， 用于通过所述编码器对所述待训练视频进行特征分析， 得到待处理特 征和视觉特征； 语义分析模块， 用于通过所述语义检测器对所述待处理特征进行语义分析， 得到语义 属性； 特征解码模块， 用于通过 所述解码器对所述视 觉特征进行解码， 得到预测标签向量； 损失分析模块， 用于对所述语义属性和所述预测标签向量进行损 失分析， 得到视频描 述生成模型； 视频描述结果生成模块， 用于导入待描述视频， 通过所述视频描述生成模型对所述待 描述视频进行视频描述， 生成视频描述结果。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 当所述计算机程序被处理器执行时， 实现如权利要求1至7任一项所述的视频描述生成 方法。权　利　要　求　书 2/2 页 3 CN 114386260 A 3