团体标准网
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211085788.1 (22)申请日 2022.09.06 (71)申请人 云知声智能科技股份有限公司 地址 100096 北京市海淀区西三 旗建材城 内1幢一层101号 (72)发明人 姜姗 刘升平 梁家恩 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06K 9/62(2022.01) (54)发明名称 一种分类数据集的构建方法、 装置、 设备和 存储介质 (57)摘要 本发明公开了一种分类数据集的构建方法、 装置、 设备和存储介质。 该方法包括: 获取样本数 据; 通过预设的标注函数在所述样 本数据中提取 关键词; 根据在所述样本数据中提取的所述关键 词, 对所述样本数据进行标注; 利用标注后的所 述样本数据训练预设的标注模型, 以便在所述标 准模型完成训练之后, 利用所述标注模型进行样 本数据分类标注。 在此过程中, 先使用标注函数 为样本数据标注标签, 再将标注模 型在已标注标 签的样本数据上进行训练, 最后可以使用标注模 型进行样本数据分类标注, 得到分类数据集, 标 注模型的标注 准确率较高, 而且避免了人工标注 的问题, 经济成本, 人力成本, 时间成本都得到了 极大的降低。 权利要求书2页 说明书7页 附图2页 CN 115455145 A 2022.12.09 CN 115455145 A 1.一种分类数据集的构建方法, 其特 征在于, 包括: 获取样本数据; 通过预设的标注函数在所述样本数据中提取关键词; 根据在所述样本数据中提取的所述关键词, 对所述样本数据进行 标注; 利用标注后的所述样本数据训练预设的标注模型, 以便在所述标准模型完成训练之 后, 利用所述标注模型进行样本数据分类标注。 2.根据权利要求1所述的方法, 其特 征在于, 所述标注函数的数量 为多个, 每 个所述标注函数用于提取一个关键词; 所述通过预设的标注函数在所述样本数据中提取关键词, 包括: 通过多个所述标注函数分别在所述样本数据中尝试提取关键词; 所述根据在所述样本数据中提取的所述关键词, 对所述样本数据进行 标注, 包括: 根据多个所述标注函数分别在所述样本数据中提取到的关键词, 确定同义词集合; 其 中, 每个所述同义词集 合包括互为同义词的关键词; 根据包含关键词数量 最多的同义词集 合, 对所述样本数据进行 标注。 3.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 获取测试样本集; 其中, 在所述测试样本集中包括多个样本数据, 并且每个所述样本数 据已经被预 先标注正确的样本标签; 针对每个标注函数, 执 行如下步骤; 通过所述标注函数在每 个所述样本数据中提取关键词; 根据所述标注函数在每个所述样本数据中提取的关键词分别对每个所述样本数据进 行标注, 得到所述样本数据的标签; 根据每个所述样本数据的标签以及每个所述样本数据的样本标签, 确定所述标注函数 的提取准确率; 在所述标注函数的提取准确率小于预设的准确率阈值 时, 舍弃所述标注函数或者调整 所述标注函数。 4.根据权利要求1所述的方法, 其特 征在于, 所述标注模型为预训练模型; 所述标注模型用于对样本数据进行分类, 每 个类别对应一个标签。 5.一种分类数据集的构建装置, 其特 征在于, 包括: 获取模块, 用于获取样本数据; 提取模块, 用于通过 预设的标注函数在所述样本数据中提取关键词; 标注模块, 用于根据在所述样本数据中提取的所述关键词, 对所述样本数据进行 标注; 训练模块, 用于利用标注后的所述样本数据训练预设的标注模型, 以便在所述标准模 型完成训练之后, 利用所述标注模型进行样本数据分类标注。 6.根据权利要求5所述的装置, 其特 征在于, 所述标注函数的数量 为多个, 每 个所述标注函数用于提取一个关键词; 所述提取模块, 用于: 通过多个所述标注函数分别在所述样本数据中尝试提取关键词; 所述标注模块, 用于: 根据多个所述标注函数分别在所述样本数据中提取到的关键词, 确定同义词集合; 其中, 每个所述同义词集合包括互为同义词的关键词; 根据包含关键词数权 利 要 求 书 1/2 页 2 CN 115455145 A 2量最多的同义词集 合, 对所述样本数据进行 标注。 7.根据权利要求5所述的装置, 其特 征在于, 所述获取模块, 用于: 获取测试样本集; 其中, 在所述测试样本集中包括多个样本数据, 并且每个所述样本数据已经被预 先标注正确的样本标签; 所述装置还包括验证模块; 所述验证模块, 用于在所述通过预设的标注函数在所述样 本数据中提取关键词之后, 针对每个标注函数, 执行如下步骤; 通过所述标注 函数在每个所 述样本数据中提取关键词; 根据所述标注函数在每个所述样本数据中提取的关键词分别对 每个所述样本数据进行标注, 得到所述样本数据的标签; 根据每个所述样本数据的标签以 及每个所述样本数据的样本标签, 确定所述标注函数 的提取准确 率; 在所述标注函数 的提 取准确率小于预设的准确率阈值时, 舍弃 所述标注函数或者调整所述标注函数。 8.根据权利要求5所述的装置, 其特 征在于, 所述标注模型为预训练模型; 所述标注模型用于对样本数据进行分类标注; 其中, 每 个类别对应一个所述标签。 9.一种分类数据集的构建设备, 其特征在于, 所述分类数据集的构建设备包括处理器、 存储器; 所述处理器用于执行所述存储器中存储的分类数据集的构建程序, 以实现权利要 求1‑4中任一项所述的分类数据集的构建方法。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质存储有一个或者 多个程序, 所述一个或者多个程序可被一个或者多个处理器执行, 以实现权利要求 1‑4中任 一项所述的分类数据集的构建方法。权 利 要 求 书 2/2 页 3 CN 115455145 A 3
专利 一种分类数据集的构建方法、装置、设备和存储介质
文档预览
中文文档
12 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 人生无常 于
2024-03-18 02:10:30
上传分享
举报
下载
原文档
(402.1 KB)
分享
友情链接
ISO IEC 20924 2024 Internet of Things (IoT) and digital twin — Vocabulary.pdf
GB-T 18305-2016 质量管理体系 汽车生产件及相关服务件组织应用GB-T 19001—2008的特别要求.pdf
GB-T 11066.1-2008 金化学分析方法 金量的测定 火试金法.pdf
GB-T 42554-2023 计量器具环境试验的通用要求.pdf
GB-T 1859.3-2015 往复式内燃机 声压法声功率级的测定 第3部分:半消声室精密法.pdf
数据安全和个人信息保护社会责任指南2.1实施.pdf
GB-T 13389-2014 掺硼掺磷掺砷硅单晶电阻率与掺杂剂浓度换算规程.pdf
GB-T 16451-2017 天然脂肪醇.pdf
DB35-T 994-2017 燃气工业锅炉节能监测方法 福建省.pdf
GB-T 42768-2023 公共安全 城市安全风险评估.pdf
ISO IEC 27005-2022 信息安全、 网络安全和隐私保护-信息安全风险管理指南.pdf
GB-T 22264.5-2008 安装式数字显示电测量仪表 第5部分:相位表和功率因数表的特殊要求.pdf
GB-T 19466.4-2016 塑料 差示扫描量热法 DSC 第4部分:比热容的测定.pdf
GB/T 40127-2021 全断面隧道掘进机 顶管机安全要求.pdf
T-CES 114—2022 智能型特高频局部放电在线监测装置 技术规范.pdf
GB-T 31496-2015 - ISO 27003-2010 信息技术 安全技术 信息安全管理体系实施指南 .pdf
DB22-T 2335-2015 日本松干蚧综合防治技术规程 吉林省.pdf
GB-T 33540.3-2017 风力发电机组专用润滑剂 第3部分:变速箱齿轮油.pdf
奇安信 中国实战化白帽人才能力白皮书.pdf
GB-T 15843.3-2016 信息技术 安全技术 实体鉴别 第3部分:采用数字签名技术的机制.pdf
1
/
3
12
评价文档
赞助2.5元 点击下载(402.1 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。