2021年8月10日，上海市人工智能技术协会发布了沪智协（2021）第07号公告，由上海软件中心牵头研制的团体标准T/SAITA 001-2021《人工智能 计算机视觉系统测评规范》正式获批发布，该标准将于2021年9月1日起实施。此项标准将在全国团体标准信息平台（http：//www.ttbz.org.cn）和上海标准化服务信息网（https：//www.cnsis.org.cn）上同时发布。
《人工智能 计算机视觉系统测评规范》团体标准由上海计算机软件技术开发中心牵头起草，上海依图网络科技有限公司、上海人工智能研究院有限公司、上海思谋科技有限公司等单位参编。该标准的编制过程以科学研究成果和实践经验为依据，充分兼容了其他相关标准的要求，并得到了上海市人工智能技术协会专家委员会的指导与众多计算机视觉领域企业以及科研单位的大力支持。
计算机视觉是人工智能的关键技术之一，它是使用计算机模仿人类视觉系统的科学，让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力，近年来在我国各行业发展迅速。然而，业界缺乏对计算机视觉系统的可靠性、安全性、可解释性等的系统性测评方法，一定程度上影响着计算机视觉系统的广泛应用和技术发展。团体标准《人工智能 计算机视觉系统测评规范》针对计算机视觉应用产品化的趋势，制定计算机视觉测评标准，有利于加快计算机视觉技术创新、成果转化和推广，规范、提升计算机视觉产品质量和服务质量，切实保障用户安全，营造公平开放的计算机视觉产业生态，填补了我国在计算机视觉标准化、规范化建设上的空白。
《人工智能 计算机视觉系统测评规范》规定了基于机器学习的计算机视觉系统的测评规范，适用于基于机器学习的计算机视觉系统的设计、研发、测试、部署与运维，其他人工智能领域也可参考使用。该标准从功能有效性、性能、兼容性、维护性、可移植性、训练数据质量、对抗样本、鲁棒性、可解释性、安全性等方面对计算机视觉系统的测评指标进行梳理，提出了计算机视觉系统测评指标体系及测评流程规范。特别的，该标准针对人工智能的安全问题，在传统软件质量指标体系基础上增加了对抗样本影响、可解释性、鲁棒性、安全性等具有人工智能特色的指标，为人工智能安全性测评提供了测评指导。
人工智能测评服务
上海计算机软件测评重点实验室（SSTL）人工智能测评服务面向计算机视觉、语音识别、自然语言处理、推荐与搜索等领域，聚焦人工智能应用过程中的模型功能有效性评估、模型性能评估、数据集质量评估、对抗样本防御能力等，提供全方位的测评服务，保障人工智能应用的质量。
主要测评内容包括：
A 人工智能模型的功能有效性
包括混淆矩阵、准确率、精度、召回率、F1-Score、ROC、AUC等测评指标
B 人工智能模型的性能
包括模型推断时间、模型运行占用的资源、模型的压缩程度、模型的存储需求、模型的算力需求等
C 人工智能系统数据集质量评估
包括数据集规模、数据集标注质量、数据集的均衡性等
D 人工智能系统防御对抗样本能力
利用自研的对抗样本生成工具，通过白盒或黑盒的方式生成对抗样本，评估系统防御对抗样本的能力、系统对于物理世界攻击的防御能力等
E 人工智能系统的鲁棒性
包括干扰数据对系统的影响、数据集分布对系统的影响、业务不相关数据对系统的影响等
F 人工智能系统的安全性
包括模型是否采用加密算法、系统的功能安全认证、接口安全认证、网络通讯的安全性等
G 人工智能治理评估
包括模型的可解释性、模型的公平性、系统的应用风险、系统的伦理风险等
版权所有 ©2021. 上海计算机软件技术开发中心 All Rights Reserved 沪公网安备 31011202012393号，沪ICP备14033306号-25