ICS35.240 L70 中关村智联软件服务业质量创新联盟发布团 体 标 准 T/IQA13-2021 智能微服务适配效能评价指标体系 Intelligentmicroservicesadaptationperformanceevaluation indexsystem 2021-10-27发布 2021-10-28实施 全国团体标准信息平台 T/IQA13-2021 1目  次 前 言...................................................................................................................................................................2 1范围...................................................................................................................................................................3 2规范性引用文件...............................................................................................................................................3 3术语和定义.......................................................................................................................................................3 4缩略语...............................................................................................................................................................3 5评价指标体系...................................................................................................................................................3 6指标要求...........................................................................................................................................................4 6.1单个微服务评价指标...............................................................................................................................4 6.2多个微服务适配评价指标.......................................................................................................................5 6.3安全性评价指标.......................................................................................................................................6 6.4经济性评价指标.......................................................................................................................................6 附录A（资料性）某银行智能微服务适配评价指标...................................................................................7 全国团体标准信息平台 T/IQA13-2021 2前  言 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中关村智联软件服务业质量创新联盟标准化管理委员会提出并归口。 本文件起草单位：北京航空航天大学、中关村智联软件服务业质量创新联盟、联想（北京）有限公 司、北京栋邦达科技有限公司、北京中电普华信息技术有限公司、北京艾特工社科技有限公司、中国银 行软件中心、中信银行股份有限公司、北京嘀嘀无限科技发展有限公司、北京联想软件有限公司、河南 科评信息技术有限公司、胥瓷信息科技（苏州）有限公司、山东中创软件商用中间件股份有限公司、天 津医康互联科技有限公司、浙江大学滨江研究院、北京居理科技有限公司。 本文件主要起草人：吴文峻、任健、张奎、梁堉、彭天豪、彭方振、吕海、于卓、郝庆利、战玲玲、 冷炜、高蕊、张希婷、李辉、王潇、李炳毅、李晓冬、赵恩恩、王宇轩、姚建良、张燕、韩锋、王传民、 潘晓华、董科雄、沈诗婧、李隽、陶宏芝、丁国富、张超。 全国团体标准信息平台 T/IQA13-2021 3智能微服务适配效能评价指标体系 1范围 本文件规定了智能微服务适配效能评价指标体系，包含单个智能微服务评价指标、多个智能微服务 适配评价指标及安全性和经济性相关的评价指标。 本文件适用于提供智能微服务适配的服务提供商和运行商，可作为评估智能微服务适配效能的选型 及验收依据。 2规范性引用文件 本文件没有规范性引用文件。 3术语和定义 下列术语和定义适用于本文件。 3.1 容器container 将单个微服务的资源划分到孤立的组中，以便更好的在孤立的组之间平衡有冲突的资源使用需求。 3.2 服务适配servicesadaption 采用一定的策略对服务进行集成和组合。 4缩略语 下列缩略语适用本文件。 CPU：中央处理器（CentralProcessingUnit） GPU：图形处理器（GraphicProcessingUnit） 5评价指标体系 智能微服务适配效能评价指标的框架见图1。通过对智能微服务适配进行解构分析，根据QoS属性特 征，针对微服务之间耦合互联、动态匹配的质量，评估分为对单个智能微服务的运行性能和业务性能的 评价、对多个智能微服务组合的适配过程进行评价、安全性评价指标和经济性评价指标四个维度。对单 个智能微服务性能的评价指标分为在线推理和离线推理两部分；对多个智能微服务适配的评价指标分为 适配性能评价指标、适配资源占用评价指标及其他适配评价指标三部分；对单个智能微服务运行和多个 全国团体标准信息平台 T/IQA13-2021 4智能微服务组合适配过程的安全性评价指标及经济性评价指标。不同领域应用评价指标体系时，可根据 实际情况进行剪裁，附录A以某银行为例，提供了其智能微服务效能评价指标。 图1智能微服务适配效能的评价指标体系 6指标要求 6.1单个微服务评价指标 是指单个智能微服务在线推理和离线推理的评价指标。 6.1.1在线推理 a)响应时间 智能微服务请求响应时间应为接收到微服务请求时刻到系统输出推理结果时刻的时间间隔。在 不同领域的应用场景下，平均响应时间应低于用户平均可等待时间。 b)尾延迟 尾延迟是满足某业务需求所需最后一个智能微服务的响应时间。针对满足该业务所需所有微服 务度量响应时间，取最大值。在不同领域的应用场景下，尾延迟均值及99分位值应低于该领域定 制阈值。 c)吞吐量 满足业务要求的情况下，单位时间内整个系统的处理能力。吞吐量越大表示智能微服务系统在 线推理处理能力越强。 d)准确率 在智能微服务执行过程中记录推理结果，业务结束后进行推理结果准确性判定，预测正确的业 务量占总业务量的比率。准确率越高表示智能微服务能提供更准确的推理能力。 e)扩展性 模拟不同业务量对智能微服务进行可用性测试，达到特定指标后结束，记录满足一定时间内业 务发展需求的程度。扩展性越高表示智能微服务系统能在未来一段时间内提供更好的服务能力。 f)伸缩性 模拟流量波峰期以及波谷期对服务进行可用性测试，达到特定指标后结束，记录在流量高峰期 支撑对外服务的能力。伸缩性越强标识智能微服务能更好应对流量瞬时激增的场景。 全国团体标准信息平台 T/IQA13-2021 56.1.2离线训练 a)样本处理速率 单位时间处理的样本数。在保证训练效能，要求处理样本的速率越高越好。 b)训练效率 训练特定迭代次数的用时。为保证训练效率，要求系统具有快速的迭代。 c)训练有效性 在智能微服务执行过程中记录推理结果精度及训练时间，达到相应精度后停止训练，记录训练 达到特定精度的用时。为保证模型有效性，要求训练结果达到高精度。