团体标准网
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211049182.2 (22)申请日 2022.08.30 (71)申请人 三一重机有限公司 地址 215000 江苏省苏州市昆山市昆山 开 发区环城东路 (72)发明人 宋保柱 卢阳光 刘利明 牛寒松 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 刘艳 (51)Int.Cl. G06N 20/00(2019.01) G06F 16/35(2019.01) G06F 40/284(2020.01) (54)发明名称 样本数据的生 成方法、 模型训练方法、 装置、 设备及介质 (57)摘要 本发明涉及数据处理领域, 提供一种样 本数 据的生成方法、 模型训练方法、 装置、 设备及介 质, 方法包括: 获取目标数据, 对目标数据进行特 征提取, 得到目标数据的特征向量, 特征向量是 以目标数据中各个子数据的特征值为向量元素 构建得到的; 基于特征向量, 将目标数据中各个 子数据划分为若干个子集; 分别从每个子集中抽 取相同数量的子数据, 直至抽取的子数据的数量 满足预设数值, 基于抽取的子数据生成样本数 据。 由于样 本数据是基于从重新划分的子集中均 匀抽取的子数据生成的, 可以使样 本数据中各类 别的子数据分布更加均匀, 且数据信息更加完 整, 解决了现有的样本数据生 成方法获得的样本 数据不够均匀的问题。 权利要求书2页 说明书9页 附图4页 CN 115470929 A 2022.12.13 CN 115470929 A 1.一种样本数据的生成方法, 其特 征在于, 包括: 获取目标数据, 对所述目标数据进行特征提取, 得到所述目标数据的特征向量, 其中, 所述特征向量是以所述目标 数据中各个子数据的特 征值为向量元 素构建得到的; 基于所述特 征向量, 将所述目标 数据中各个子数据划分为若干个子集; 分别从每个所述子集中抽取相同数量的所述子数据, 直至抽取的所述子数据的数量满 足预设数值, 基于抽取的所述子数据生成样本数据。 2.根据权利要求1所述的样本数据的生成方法, 其特 征在于, 所述获取目标 数据, 包括: 获取原始文本数据; 对所述原 始文本数据进行去停用词处 理, 得到初始文本数据; 对所述初始文本数据进行拆分处理, 生成多个子数据, 并将所述多个子数据的集合作 为所述目标 数据。 3.根据权利要求2所述的样本数据的生成方法, 其特征在于, 所述对所述初始文本数据 进行拆分处 理, 生成多个子数据, 包括: 将所述初始文本数据拆分为多个关键 字节片段; 对所述初始文本数据进行分词处 理, 得到所述初始文本数据对应的关键词; 将所述关键 字节片段和所述关键词作为所述子数据, 得到多个子数据。 4.根据权利要求1所述的样本数据的生成方法, 其特征在于, 所述对所述目标数据进行 特征提取, 得到所述目标 数据的特 征向量, 包括: 获取所述目标数据中每个所述子数据在所述目标数据中出现的频率值, 基于所述频率 值确定每 个所述子数据的第一特 征; 获取每个所述子数据 出现在预设目标文档中的文档数的倒数, 基于所述文档数的倒数 确定每个所述子数据的第二特 征; 基于所述第一特 征和所述第二特 征, 确定每 个所述子数据的特 征值; 基于每个所述子数据的特 征值, 构建得到所述特 征向量。 5.根据权利要求1所述的样本数据的生成方法, 其特征在于, 所述基于所述特征向量, 将所述目标 数据中各个子数据划分为若干个子集, 包括: 对所述特征向量进行聚类处理, 将所述特征向量中的所述向量元素划分为若干个聚类 簇; 分别将每个所述 聚类簇中所述向量元素对应的子数据作为子集元素, 将每个所述聚类 簇作为所述子集, 以将所述目标 数据中各个子数据划分为若干个子集。 6.根据权利要求5所述的样本数据的生成方法, 其特征在于, 所述对所述特征向量进行 聚类处理, 将所述特 征向量中的所述向量元 素划分为若干个聚类簇, 包括: 根据预设簇种类数, 从所述特征向量中选取与 所述预设簇种类数相同数量的所述向量 元素作为簇中心点; 分别计算各个所述向量元素与所述簇 中心点的距离, 基于所述距离分别将各个所述向 量元素分配至相应的所述簇中心点, 得到多个初始聚类簇; 分别调整每个所述初始聚类簇 中所述簇 中心点, 直至所述初始聚类簇中所述向量元素 的变化数量小于预设数量阈值, 和/或所述初始聚类簇中所述簇中心点的变化量小于预设 变化量阈值, 得到所述若干个聚类簇 。权 利 要 求 书 1/2 页 2 CN 115470929 A 27.一种模型训练方法, 其特 征在于, 包括: 通过如权利要求1至 6任一项所述的样本数据的生成方法获得 所述样本数据; 对所述样本数据进行 标签标注, 得到标签样本; 通过所述标签样本对待训练模型进行训练, 得到训练好的模型。 8.一种样本数据的生成装置, 其特 征在于, 包括: 第一处理模块, 用于获取目标数据, 对所述目标数据进行特征提取, 得到所述目标数据 的特征向量, 其中, 所述特征向量是以所述 目标数据中各个子数据的特征值为向量元素构 建得到的; 第二处理模块, 用于基于所述特征向量, 将所述目标数据中各个子数据划分为若干个 子集; 第三处理模块, 用于分别从每个所述子集中抽取相同数量的所述子数据, 直至抽取的 所述子数据的数量满足预设数值, 基于抽取的所述子数据生成样本数据。 9.一种电子设备, 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序, 其特征在于, 所述处理器执行所述程序时实现如权利要求1至6任一项所 述样本数据的生成方法。 10.一种非暂态计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算 机程序被处 理器执行时实现如权利要求1至 6任一项所述样本数据的生成方法。权 利 要 求 书 2/2 页 3 CN 115470929 A 3
专利 样本数据的生成方法、模型训练方法、装置、设备及介质
文档预览
中文文档
16 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 人生无常 于
2024-03-18 02:15:41
上传分享
举报
下载
原文档
(571.5 KB)
分享
友情链接
DB41-T 1647-2018 金属非金属深井矿山通风安全规程 河南省.pdf
T-SZFAA 03—2019 人工光型植物工厂建设规范.pdf
T-CIECCPA 008—2020 工业企业节能诊断报告编制规范.pdf
GB-T 15852.3-2019 信息技术 安全技术 消息鉴别码 第3部分:采用泛杂凑函数的机制.pdf
国家网络安全事件应急预案.pdf
DB12-T 564-2015 低温食品储运温控技术 天津市.pdf
奇安信 中国政企机构数据安全风险分析报告.pdf
GB 12676-2014 商用车辆和挂车制动系统技术要求及试验方法.pdf
GB-T 28181-2011 安全防范视频监控联网系统信息传输、交换、控制技术要求.pdf
GB-T 24627-2023 外科植入物用镍-钛形状记忆合金加工材.pdf
DB1331-T 042—2023 电动重卡换电系统技术要求 雄安新区.pdf
DB5101-T 117—2021 医药化工企业安全管理规范 成都市.pdf
GB-T 37934-2019 信息安全技术 工业控制网络安全隔离与信息交换系统安全技术要求.pdf
GB-T 39276-2020 信息安全技术 网络产品和服务安全通用要求.pdf
DB37-T 5237-2022 《超低能耗公共建筑技术标准》 山东省.pdf
GB-T 25295-2010 电气设备安全设计导则.pdf
GB-T 35392-2017 无损检测 电导率电磁 涡流 测定方法.pdf
DB43-T 612-2021 医疗机构能耗定额 湖南省.pdf
安全管理制度编写及维护规范.pdf
数据安全评估师ccrc-dsa.pdf
1
/
3
16
评价文档
赞助2.5元 点击下载(571.5 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。