(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211085785.8 (22)申请日 2022.09.06 (65)同一申请的已公布的文献号 申请公布号 CN 115148323 A (43)申请公布日 2022.10.04 (73)专利权人 北京鹰瞳科技发展股份有限公司 地址 100081 北京市海淀区北理工国防科 技园2号楼4层21室 (72)发明人 何兰青　胡馨月　史晓宇　 (74)专利代理 机构 北京维昊知识产权代理事务 所(普通合伙) 11804 专利代理师 王颖慧 (51)Int.Cl. G16H 10/60(2018.01) G16H 50/70(2018.01)G06F 16/33(2019.01) G06F 16/35(2019.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 5/04(2006.01) (56)对比文件 CN 114219755 A,2022.03.22 US 202134341 1 A1,2021.1 1.04 US 2021343 012 A1,2021.1 1.04 审查员 王欣悦 (54)发明名称 基于医学图像进 行疾病预测的装置、 方法和 可读存储介质 (57)摘要 本申请涉及一种基于医学图像进行疾病预 测的装置、 方法和计算机可读存储介质。 该装置 包括： 处理器； 以及存储器， 其存储有基于医学图 像进行疾病预测的程序指令， 当所述程序指令由 处理器运行时， 使得所述装置执行 以下操作： 使 用分类模型对待测医学图像进行疾病分类， 以获 得基于所述待测医学图像的初始分类结果； 以及 使用自然语言模型对所述初始分类结果进行推 理， 以获得基于所述待测医学图像的疾病预测结 果。 根据本实施例的装置， 可以无需依赖于人为 制定的复杂推断规则， 并能够实现真正意义上的 自动化疾病预测。 权利要求书3页 说明书18页 附图10页 CN 115148323 B 2022.12.20 CN 115148323 B 1.一种基于医学图像进行疾病预测的装置， 其特 征在于， 包括： 处理器； 以及 存储器， 其存储有基于医学图像进行疾病预测的程序指令， 当所述程序指令由处理器 运行时， 使得 所述装置执 行以下操作： 使用分类模型对待测医学图像进行疾病分类， 以获得基于所述待测医学图像的初始分 类结果， 其中所述分类模型包括主干网络和与所述主干网络连接的第一分类器和 第二分类 器， 所述第一分类器用于输出待分类病种的单病种得分， 所述第二分类器用于输出与待分 类病种的混淆关系相关的病 种细分得分； 以及 使用自然语言模型对所述初始分类结果进行推理， 以获得基于所述待测医学图像的疾 病预测结果； 其中所述装置在使用自然语言模型进行推理中执 行以下操作： 将单病种得分对应的待分类病种 进行编码， 以生成用于表示所述待分类病种的第 一词 向量； 将每个第一词向量与相应的单病 种得分相乘， 以得到第一相乘结果； 将病种细 分得分对应的混淆关系 进行编码， 以生成用于表示所述混淆关系的第 二词向 量； 将每个第二词向量与相应的病 种细分得分相乘， 以得到第二相乘结果； 以及 使用自然语言模型对所述第一相乘结果和所述第二相乘结果形成的序列进行推理。 2.根据权利要求1所述的装置， 其特征在于， 当所述程序指令由处理器运行时， 还使得 所述装置在使用分类模型获得初始分类结果中执 行以下操作： 使用主干网络对待测医学图像进行特征提取， 以获得所述待测医学图像中的病灶特 征； 以及 使用第一分类 器基于所述病灶特 征输出待分类病 种的单病 种得分。 3.根据权利要求2所述的装置， 其特征在于， 当所述程序指令由处理器运行时， 还使得 所述装置在使用分类模型获得初始分类结果中执 行以下操作： 使用第二分类 器基于所述病灶特 征输出与所述待分类病 种相关的病 种细分得分。 4.根据权利要求1所述的装置， 其特征在于， 当所述程序指令由处理器运行时， 还使得 所述装置在使用分类模型获得初始分类结果之前 执行以下操作： 根据待分类任务中的待分类病种的数量， 确定第一分类器的数量， 使得每个第一分类 器用于输出相应的一个待分类病 种的单病 种得分； 以及 根据待分类病种之间混淆关系的数量， 确定第二分类器的数量， 使得每个第二分类器 用于输出相应的一个混淆关系中的病 种细分得分。 5.根据权利要求1所述的装置， 其特征在于， 当所述程序指令由处理器运行时， 还使得 所述装置在使用自然语言模型进行推理中执 行以下操作： 使用预设阈值对初始分类结果进行筛 选， 以获得筛 选后的分类结果； 以及 使用自然语言模型对筛 选后的分类结果进行推理。 6.根据权利要求5所述的装置， 其特征在于， 当所述程序指令由处理器运行时， 还使得 所述装置在使用预设阈值对初始分类结果进 行筛选， 以获得筛选后的分类结果中执行以下 操作：权　利　要　求　书 1/3 页 2 CN 115148323 B 2将每个第一分类器输出的单病种得分与相应的预设阈值进行比较， 以筛选出大于预设 阈值的阳性单病 种得分； 根据阳性单病 种得分对应的待分类病 种， 筛选出相应的混淆关系； 以及 根据筛选出的混淆关系， 将相应的病 种细分得分确定为筛 选后的病 种细分得分。 7.根据权利要求1 ‑6任一所述的装置， 其特 征在于， 所述待测医学图像包括眼底图像。 8.根据权利要求1所述的装置， 其特征在于， 当所述程序指令由处理器运行时， 还使得 所述装置在使用自然语言模型进行推理中执 行以下操作： 将待测医学图像所属患 者的基本信 息、 病史信 息和检查信 息中的至少一种与 所述初始 分类结果 一起输入至自然语言模型进行推理。 9.一种计算机可读存储介质， 其特征在于， 其上存储有基于医学图像进行疾病预测的 计算机可读指令， 该计算机可读指令被一个或多个处理器执行时， 实现基于医学图像进行 疾病预测的方法， 所述方法包括： 使用分类模型对待测医学图像进行疾病分类， 以获得基于所述待测医学图像的初始分 类结果， 其中所述分类模型包括主干网络和与所述主干网络连接的第一分类器和 第二分类 器， 所述第一分类器用于输出待分类病种的单病种得分， 所述第二分类器用于输出与待分 类病种的混淆关系相关的病 种细分得分； 以及 使用自然语言模型对所述初始分类结果进行推理， 以获得基于所述待测医学图像的疾 病预测结果； 其中使用自然语言模型进行推理包括： 将单病种得分对应的待分类病种 进行编码， 以生成用于表示所述待分类病种的第 一词 向量； 将每个第一词向量与相应的单病 种得分相乘， 以得到第一相乘结果； 将病种细 分得分对应的混淆关系 进行编码， 以生成用于表示所述混淆关系的第 二词向 量； 将每个第二词向量与相应的病 种细分得分相乘， 以得到第二相乘结果； 以及 使用自然语言模型对所述第一相乘结果和所述第二相乘结果形成的序列进行推理。 10.根据权利要求9所述的计算机可读存储介质， 其特征在于， 使用分类模型获得初始 分类结果包括： 使用主干网络对待测医学图像进行特征提取， 以获得所述待测医学图像中的病灶特 征； 以及 使用第一分类 器基于所述病灶特 征输出待分类病 种的单病 种得分。 11.根据权利要求10所述的计算机可读存储介质， 其特征在于， 使用分类模型获得初始 分类结果还 包括： 使用第二分类 器基于所述病灶特 征输出与所述待分类病 种相关的病 种细分得分。 12.根据权利要求9所述的计算机可读存储介质， 其特征在于， 在使用分类模型获得初 始分类结果之前， 所述方法还 包括： 根据待分类任务中的待分类病种的数量， 确定第一分类器的数量， 使得每个第一分类 器用于输出相应的一个待分类病 种的单病 种得分； 以及 根据待分类病种之间混淆关系的数量， 确定第二分类器的数量， 使得每个第二分类器权　利　要　求　书 2/3 页 3 CN 115148323 B 3