ICS 35.240.20 L60 团 体 标 准 T/ISC 0005—2020 针对内容安全的人工智能 数据标注指南 Guidelines for AI data annotation in content security 2020 - 09 - 24发布 2020 - 12 - 01实施 中 国 互 联 网 协 会 发布 全国团体标准信息平台 全国团体标准信息平台 T/ISC 0005—2020 I 目 次 前言 ............................................................................... III 引言 ................................................................................ IV 1 范围 ............................................................................... 1 2 规范性引用文件 ..................................................................... 1 3 术语和定义 ......................................................................... 1 4 概述 ............................................................................... 2 5 需求承接 ........................................................................... 2 5.1 需求接收 ....................................................................... 2 5.2 需求评估 ....................................................................... 3 5.3 需求确认 ....................................................................... 3 6 标注准备 ........................................................................... 3 6.1 数据获取 ....................................................................... 3 6.2 数据预处理 ..................................................................... 3 6.3 操作规程 ....................................................................... 3 6.4 质检方案 ....................................................................... 3 6.5 工具 /平台 ...................................................................... 4 6.6 人员能力 ....................................................................... 4 6.7 试标注 ......................................................................... 4 6.8 制定标注方案 ................................................................... 4 7 标注 ............................................................................... 4 7.1 实施标注 ....................................................................... 4 7.2 进度管理 ....................................................................... 5 7.3 质量控制 ....................................................................... 5 7.4 交付、验收 ..................................................................... 5 8 模型训练 ........................................................................... 5 8.1 模型训练 ....................................................................... 5 8.2 模型验证 ....................................................................... 5 9 上线运行 ........................................................................... 5 9.1 模型测试 ....................................................................... 6 9.2 运营监控 ....................................................................... 6 9.3 持续改进 ....................................................................... 6 参考文献 ............................................................................. 7 全国团体标准信息平台 全国团体标准信息平台 T/ISC 0005—2020 III 前 言 本文件按照 GB/T 1.1-2020 0《标准化工作导则 第1部分：标准化文件的结构和起草规则》的 规定 起草。 本文件由中国互联网协会 标准工作委员会提出并归口。 本文件起草单位：深圳市腾讯计算机系统有限公司、北京奇艺世纪科技有限公司、 北京深度搜索科 技有限公司、工业和信息化部电子第五研究所 。 本文件主要起草人：杨晓光、鞠奇 、马臣、王骏、詹博、邓理英、陈永智 、刘翠香、 董奕、符妍、 黄佳、李久龙、周循道、黄林轶 。 全国团体标准信息平台 T/ISC 0005—2020 IV 引 言 随着《中华人民共和国国家安全法》、《中华人民共和国网络安全法》、《互联网信息服务 管理办法》、 《网络信息内容生态治理规定》等法律规章制度的发布，网络运营者有责任营造清 朗的网络空间、建设良好的网络生态目标，开展弘扬正能量、处置违法和不良信息 。使用人工智 能技术能够帮助网络运营者及时地发现和处置网络上的违法、 不良信息。 数据是人工智能技术的 “原料”，数据标注则是将“原料”转化为机器可识别的信息的过程。本标准的作用是给数据标 注过程提供指南，为机器提供优质的数据“原料”，提高机器识别违法、不良的信息的准确性。 本文件也可以为其他应用领域，如智慧城市、自动驾驶、语音识别等的人工智能技术做参考。 全国团体标准信息平台 T/ISC 0005—2020 1 针对内容安全的人工智能数据标注指南 1 范围 本文件规定了针对内容安全的人工智能数据标注主要过程，以及过程中的相关活动。 本文件适用于因业务需要使用人工智能技术进行 内容安全 审核，提供第三方数据标注服务 ，以及设 计开发数据标注服务平台的组织等。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中， 注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 35273 -2020 信息安全技术 个人信息安全规范 GB/T 37964 -2019 信息安全技术 个人信息去标识化指南 3 术语和定义 下列术语和定义适用于本文件。 3.1 数据标注 data annotation 对文本