(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210992878.2 (22)申请日 2022.08.18 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 周鋆　杨昊　朱先强　朱承　 张维明　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 邱轶 (51)Int.Cl. G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 基于置信度引导的文本 分类方法、 装置和计 算机设备 (57)摘要 本申请涉及一种基于置信度引导的文本分 类方法、 装置和计算机设备， 包括： 首先将待分类 的目标文本输入 预训练的文本分类模 型， 分别得 到目标文本被 分到各个文本类别的置信度， 其中 置信度是根据目标文本对应的softmax函数值取 对数得到的， 接着根据置信 度以及文本类别数量 和输入的目标文本的批量大小的乘积构建损失 函数， 通过优化损失函数更新文本分类模型， 最 后采用更新后的文本分类模型进行目标文本的 分类。 采用本发 明可以大大提高文本分类的鲁棒 性。 权利要求书2页 说明书8页 附图2页 CN 115292496 A 2022.11.04 CN 115292496 A 1.一种基于 置信度引导的文本分类方法， 其特 征在于， 所述方法包括： 将待分类的目标文本输入预训练的文本分类模型， 分别得到所述目标文本被分到各个 文本类别的置信度； 所述置信度是根据所述目标文本对应的softmax函数值取对数 得到的； 根据所述置信度以及文本类别数量和输入的目标文本的批量大小的乘积构建损失函 数， 通过优化所述损失函数 更新所述文本分类模型； 采用更新后的所述文本分类模型进行 所述目标文本的分类。 2.根据权利要求1所述的方法， 其特征在于， 根据 所述置信度与文本类别数量和输入的 目标文本的批量大小的乘积构建损失函数， 包括： 根据所述置信度与文本类别数量和输入的目标文本的批量大小的乘积构建第一损失 函数： 其中， Lconf(fθ(xt)， yt))为第一损失函数， θ， t为文本分类模型参数， N为目标文本的批量 大小， C为分类的文本类别数量， zi为第i个文本类别对应的输出值。 3.根据权利要求2所述的方法， 其特征在于， 在根据 所述置信度与文本类别数量和输入 的目标文本的批量大小的乘积构建损失函数之前， 还 包括： 分别计算各个所述目标文本对应的第一大置信度和第二大置信度的差值； 当所述差值小于预设阈值， 为对应的所述目标文本赋予第一注意力系数； 当所述差值 不小于预设阈值， 为对应的所述目标文本赋予第二注意力系数。 4.根据权利要求3所述的方法， 其特征在于， 根据 所述置信度与文本类别数量和输入的 目标文本的批量大小的乘积构建损失函数， 包括： 根据所述第 一注意力系数、 所述第 二注意力系数以及所述第 一损失函数构建第 二损失 函数： 其中， Lcgtta(fθ(xt)， yt)为第二损失函数， α 为第二注意力系数， β 为第一注意力系数。 5.根据权利要求3所述的方法， 其特征在于， 计算各个所述目标文本对应的第 一大置信 度和第二大置信度的差值， 包括： 计算各个所述目标文本对应的第一大置信度和第二大置信度的差值 为： diff(fθ(xt))＝conf(fθ(xt))1st‑Conf(fθ(xt))2nd 其中， diff(fθ(xt)为置信度差值， conf(fθ(xt)为置信度， conf(fθ(xt)1st为第一大置信 度， conf(fθ(xt)2nd为第二大置信度。权　利　要　求　书 1/2 页 2 CN 115292496 A 26.根据权利要求3所述的方法， 其特征在于， 当所述差值小于预设阈值， 为对应的所述 目标文本赋予第一注意力系 数， 当所述差值不小于预设阈值， 为对应的所述 目标文本赋予 第二注意力系数， 包括： 当所述差值小于预设阈值， 为对应的所述目标文本赋予第一注意力系数， 当所述差值 不小于预设阈值， 为对应的所述目标文本赋予第二注意力系数为： 其中， y′t为赋予注意力系数后文本分类模型的输出， 为赋予注意力系数前， 差值不 小于预设阈值时文本分类模型的输出， 为赋予注意力系数前， 差值小于预设阈值时文 本分类模型的输出， gth为预设阈值。 7.一种基于 置信度引导的文本分类装置， 其特 征在于， 所述装置包括： 置信度计算模块， 用于将待分类的目标文本输入预训练的文本分类模型， 分别得到所 述目标文本被分到各个文本类别的置信度； 所述置信度是通过所述目标文本对应的 softmax值取对数 得到的； 模型更新模块， 用于根据所述置信度与文本类别数量和输入的目标文本的批量大小的 乘积构建损失函数， 通过优化所述损失函数 更新所述文本分类模型； 文本分类模块， 用于采用更新后的所述文本分类模型进行 所述目标文本的分类。 8.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至 6中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115292496 A 3