(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211028070.9 (22)申请日 2022.08.25 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 申请人 国家电网有限公司信息通信分公司 　 国网河南省电力公司信息通信公司 (72)发明人 李城龙　吴毅超　胡威　杨家海　 王之梁　程杰　夏昂　卢腾　 魏家辉　林冰洁　党芳芳　闫丽景　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 孟洋 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06F 16/35(2019.01) G06F 40/216(2020.01) H04L 67/02(2022.01) H04L 67/12(2022.01) (54)发明名称 一种主动探测场景下的物联网设备识别方 法及装置 (57)摘要 本发明公开了一种主动探测场景下的物联 网设备识别方法及装置， 该方法包括： 获取第一 网络文本数据， 其中， 第一网络文本数据包括基 于网络设备的网络文本数据； 提取第一网络文本 数据的网络图像特征输出第一图像特征向量， 并 提取第一网络文本数据的第一统计特征向量； 将 第一图像特征向量和第一统计特征向量进行融 合拼接， 得到网络设备特征向量； 将网络设备特 征向量输入预训练的神经网络分类模型得到概 率向量， 以利用概率向量识别物联网设备。 本发 明通过将HTML文本转化为图像， 不仅保持了HTML 文本的特征， 还能利用先进的图像特征提取模型 提取出更有效的特征， 大幅提高了设备识别的准 确度； 并且利用图像特征规避了此类问题， 扩大 了设备识别的范围。 权利要求书2页 说明书6页 附图2页 CN 115546496 A 2022.12.30 CN 115546496 A 1.一种主动探测场景 下的物联网设备识别方法， 其特 征在于， 包括以下步骤： 获取第一网络文本数据， 其中， 所述第一网络文本数据包括基于网络设备的网络文本 数据； 提取所述第 一网络文本数据的网络图像特征输出第 一图像特征向量， 并提取所述第 一 网络文本数据的第一统计特 征向量； 将所述第一图像特征向量和所述第 一统计特征向量进行融合拼接， 得到网络设备特征 向量； 将所述网络设备特征向量输入预训练 的神经网络分类模型得到概率向量， 以利用所述 概率向量识别物联网设备。 2.根据权利要求1所述的方法， 其特征在于， 所述提取第 一网络文本数据的网络图像特 征输出图像特 征向量， 包括： 利用预设的网络渲染工具对所述第一网络文本数据进行渲染得到网络图像； 使用预训练的神经网络模型对所述网络图像进行特征提取， 输出多维度的所述图像特 征向量。 3.根据权利要求1所述的方法， 其特征在于， 在将所述网络设备特征向量输入预训练 的 神经网络分类模型 得到类别为设备的概 率向量之前， 还 包括： 获取第二网络文本数据， 其中， 所述第二网络文本数据包括含有标签信息的基于物联 网设备的网络文本数据； 提取所述第 二网络文本数据的网络图像特征输出第 二图像特征向量， 并提取所述第 二 网络文本数据的第二统计特征向量； 以及， 将所述第二图像特征向量和所述第二统计特征 向量进行融合 拼接得到物联网设备 特征向量； 将所述物联网设备特征向量和所述标签信 息输入神经网络分类模型进行训练， 得到所 述预训练的神经网络分类模型。 4.根据权利要求1所述的方法， 其特征在于， 所述将网络设备特征向量输入预训练的神 经网络分类模型 得到概率向量， 以利用所述 概率向量识别物联网设备， 包括： 将网络设备特征向量输入预训练的神经网络分类模型， 输出类别为网络设备的概率向 量； 其中， 所述 概率向量中的每 个值表示当前网络设备 特征向量属于对应 类别的概 率； 将所述概率向量中的最大值和预设的置信度阈值进行比较， 根据比较结果识别所述物 联网设备。 5.根据权利要求4所述的方法， 其特征在于， 所述神经网络分类模型， 包括多个全连接 层， 所述将网络设备特征向量输入预训练的神经网络分类模型， 输出类别为网络设备 的概 率向量， 包括： 利用所述神经网络分类模型中第一数量的全连接层提取所述网络设备特征向量中的 关联特征； 以及， 利用第二数量的全连接层对所述关联特征进行特征降维， 根据 特征降维结果输出所述 类别为网络设备的概 率向量。 6.一种主动探测场景 下的物联网设备识别装置， 其特 征在于， 包括： 网络文本获取模块， 用于获取第 一网络文本数据， 其中， 所述第一网络文本数据包括基 于网络设备的网络文本数据；权　利　要　求　书 1/2 页 2 CN 115546496 A 2特征向量提取模块， 用于提取所述第 一网络文本数据的网络图像特征输出第 一图像特 征向量， 并提取 所述第一网络文本数据的第一统计特 征向量； 特征向量融合模块， 用于将所述第 一图像特征向量和所述第 一统计特征向量进行融合 拼接， 得到网络设备 特征向量； 设备特征识别模块， 用于将所述网络设备特征向量输入预训练 的神经网络分类模型得 到概率向量， 以利用所述 概率向量识别物联网设备。 7.根据权利要求6所述的装置， 其特 征在于， 所述特 征向量提取模块， 还用于： 利用预设的网络渲染工具对所述第一网络文本数据进行渲染得到网络图像； 使用预训练的神经网络模型对所述网络图像进行特征提取， 输出多维度的所述第 一图 像特征向量。 8.根据权利要求6所述的装置， 其特征在于， 在设备特征识别模块之前， 还包括模型训 练模块， 所述模型训练模块， 用于： 获取第二网络文本数据， 其中， 所述第二网络文本数据包括含有标签信息的基于物联 网设备的网络文本数据； 提取所述第 二网络文本数据的网络图像特征输出第 二图像特征向量， 并提取所述第 二 网络文本数据的第二统计特征向量； 以及， 将所述第二图像特征向量和所述第二统计特征 向量进行融合 拼接得到物联网设备 特征向量； 将所述物联网设备特征向量和所述标签信 息输入神经网络分类模型进行训练， 得到所 述预训练的神经网络分类模型。 9.根据权利要求6所述的装置， 其特 征在于， 所述设备 特征识别模块， 包括： 概率分类子单元， 用于将网络设备特征向量输入预训练的神经网络分类模型， 输出类 别为网络设备 的概率向量； 其中， 所述概率向量中的每个值表示当前网络设备特征向量属 于对应类别的概 率； 概率比较子单元， 用于将所述概率向量中的最大值和预设的置信度阈值进行比较， 根 据比较结果识别所述物联网设备。 10.根据权利要求9所述的装置， 其特征在于， 所述神经网络分类模型包括多个全连接 层， 所述概率分类子单 元， 还用于： 利用所述神经网络分类模型中第 一数量的全连接层， 提取所述网络设备特征向量中的 关联特征； 以及， 利用第二数量的全连接层对所述关联特征进行特征降维处理， 根据特征降维结果输出 所述类别为网络设备的概 率向量。权　利　要　求　书 2/2 页 3 CN 115546496 A 3