团体标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211085788.1 (22)申请日 2022.09.06 (71)申请人 云知声智能科技股份有限公司 地址 100096 北京市海淀区西三 旗建材城 内1幢一层101号 (72)发明人 姜姗 刘升平 梁家恩  (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06K 9/62(2022.01) (54)发明名称 一种分类数据集的构建方法、 装置、 设备和 存储介质 (57)摘要 本发明公开了一种分类数据集的构建方法、 装置、 设备和存储介质。 该方法包括: 获取样本数 据; 通过预设的标注函数在所述样 本数据中提取 关键词; 根据在所述样本数据中提取的所述关键 词, 对所述样本数据进行标注; 利用标注后的所 述样本数据训练预设的标注模型, 以便在所述标 准模型完成训练之后, 利用所述标注模型进行样 本数据分类标注。 在此过程中, 先使用标注函数 为样本数据标注标签, 再将标注模 型在已标注标 签的样本数据上进行训练, 最后可以使用标注模 型进行样本数据分类标注, 得到分类数据集, 标 注模型的标注 准确率较高, 而且避免了人工标注 的问题, 经济成本, 人力成本, 时间成本都得到了 极大的降低。 权利要求书2页 说明书7页 附图2页 CN 115455145 A 2022.12.09 CN 115455145 A 1.一种分类数据集的构建方法, 其特 征在于, 包括: 获取样本数据; 通过预设的标注函数在所述样本数据中提取关键词; 根据在所述样本数据中提取的所述关键词, 对所述样本数据进行 标注; 利用标注后的所述样本数据训练预设的标注模型, 以便在所述标准模型完成训练之 后, 利用所述标注模型进行样本数据分类标注。 2.根据权利要求1所述的方法, 其特 征在于, 所述标注函数的数量 为多个, 每 个所述标注函数用于提取一个关键词; 所述通过预设的标注函数在所述样本数据中提取关键词, 包括: 通过多个所述标注函数分别在所述样本数据中尝试提取关键词; 所述根据在所述样本数据中提取的所述关键词, 对所述样本数据进行 标注, 包括: 根据多个所述标注函数分别在所述样本数据中提取到的关键词, 确定同义词集合; 其 中, 每个所述同义词集 合包括互为同义词的关键词; 根据包含关键词数量 最多的同义词集 合, 对所述样本数据进行 标注。 3.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 获取测试样本集; 其中, 在所述测试样本集中包括多个样本数据, 并且每个所述样本数 据已经被预 先标注正确的样本标签; 针对每个标注函数, 执 行如下步骤; 通过所述标注函数在每 个所述样本数据中提取关键词; 根据所述标注函数在每个所述样本数据中提取的关键词分别对每个所述样本数据进 行标注, 得到所述样本数据的标签; 根据每个所述样本数据的标签以及每个所述样本数据的样本标签, 确定所述标注函数 的提取准确率; 在所述标注函数的提取准确率小于预设的准确率阈值 时, 舍弃所述标注函数或者调整 所述标注函数。 4.根据权利要求1所述的方法, 其特 征在于, 所述标注模型为预训练模型; 所述标注模型用于对样本数据进行分类, 每 个类别对应一个标签。 5.一种分类数据集的构建装置, 其特 征在于, 包括: 获取模块, 用于获取样本数据; 提取模块, 用于通过 预设的标注函数在所述样本数据中提取关键词; 标注模块, 用于根据在所述样本数据中提取的所述关键词, 对所述样本数据进行 标注; 训练模块, 用于利用标注后的所述样本数据训练预设的标注模型, 以便在所述标准模 型完成训练之后, 利用所述标注模型进行样本数据分类标注。 6.根据权利要求5所述的装置, 其特 征在于, 所述标注函数的数量 为多个, 每 个所述标注函数用于提取一个关键词; 所述提取模块, 用于: 通过多个所述标注函数分别在所述样本数据中尝试提取关键词; 所述标注模块, 用于: 根据多个所述标注函数分别在所述样本数据中提取到的关键词, 确定同义词集合; 其中, 每个所述同义词集合包括互为同义词的关键词; 根据包含关键词数权 利 要 求 书 1/2 页 2 CN 115455145 A 2量最多的同义词集 合, 对所述样本数据进行 标注。 7.根据权利要求5所述的装置, 其特 征在于, 所述获取模块, 用于: 获取测试样本集; 其中, 在所述测试样本集中包括多个样本数据, 并且每个所述样本数据已经被预 先标注正确的样本标签; 所述装置还包括验证模块; 所述验证模块, 用于在所述通过预设的标注函数在所述样 本数据中提取关键词之后, 针对每个标注函数, 执行如下步骤; 通过所述标注 函数在每个所 述样本数据中提取关键词; 根据所述标注函数在每个所述样本数据中提取的关键词分别对 每个所述样本数据进行标注, 得到所述样本数据的标签; 根据每个所述样本数据的标签以 及每个所述样本数据的样本标签, 确定所述标注函数 的提取准确 率; 在所述标注函数 的提 取准确率小于预设的准确率阈值时, 舍弃 所述标注函数或者调整所述标注函数。 8.根据权利要求5所述的装置, 其特 征在于, 所述标注模型为预训练模型; 所述标注模型用于对样本数据进行分类标注; 其中, 每 个类别对应一个所述标签。 9.一种分类数据集的构建设备, 其特征在于, 所述分类数据集的构建设备包括处理器、 存储器; 所述处理器用于执行所述存储器中存储的分类数据集的构建程序, 以实现权利要 求1‑4中任一项所述的分类数据集的构建方法。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质存储有一个或者 多个程序, 所述一个或者多个程序可被一个或者多个处理器执行, 以实现权利要求 1‑4中任 一项所述的分类数据集的构建方法。权 利 要 求 书 2/2 页 3 CN 115455145 A 3

.PDF文档 专利 一种分类数据集的构建方法、装置、设备和存储介质

文档预览
中文文档 12 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种分类数据集的构建方法、装置、设备和存储介质 第 1 页 专利 一种分类数据集的构建方法、装置、设备和存储介质 第 2 页 专利 一种分类数据集的构建方法、装置、设备和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 02:10:30上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。