打开黑匣子，黑匣子变成了一个白色盒子，但更多的黑盒出现在白色盒子中。探索可以解释AI是一条漫长的道路。

　　作者王YAN

　　编辑Chen Caixian

　　在2021年，人工智能领域中最热门的话题之一是“可信AI”。

　　2021年6月，蚂蚁集团在全球人工智能会议上首次宣布了“受信任的AI”技术建筑系统。 7月，Jingdong Exploration Research Institute在世界人工智能会议上还发布了中国首个“可信赖的人工智能白皮书”，两家公司都使用隐私保护，鲁棒性/稳定性，解释性，公平性作为“可信AI”的四个基本原则。

　　从行业到学术界，“可信AI”的数字经常出现。例如，AI科学技术评论还报道了周·叶兹教授在哥伦比亚大学数据科学研究总监的“ ACM通讯”中发表的文章“ Trusted AI”，该文章是“可信计算”，从“可信赖的人工智能”到“可信的人工智能”。可靠的计算“到“可信度计算”的课程和问题也引起了很多关注。

　　在中国，人工智能应用的相关问题一直在飙升。越来越多的技术公司开始关注人工智能的“限制”。从道德和组织结构（例如尚唐）成立一个道德委员会。但是总的来说，当前人工智能算法的主要困难是技术层面，即“稳健性/稳定性”和“解释性”。

　　不久前，1月11日，腾讯还正式向Shan and Innovation Week发布了“ AI和创新周” AI Development Report 2022的“ AI论坛的透明解释” - 开放算法的概念和实践在“ AI的透明解释”上论坛”。该报告由腾讯研究所，腾讯Tianyan实验室，Tencent Youtu，Tencent AI实验室和其他机构共同完成。一旦释放，它再次引发了关于解释性AI的严厉讨论。

　　1人们为什么要注意“解释AI”？

　　它可以解释说，人工智能（XAI）是一组过程和方法，使人类用户能够理解和信任机器学习算法生成的结果和输出。

　　AI技术的“令人难以置信的”已逐渐成为AI大规模着陆的主要障碍。在投资AI模型时，解释AI对于建立对组织的信任和信心至关重要。 AI的解释还有助于组织采用负责任的AI开发方法。近年来，对可解释的AI的讨论仍然很高。

　　值得一提的是，关于解释性AI的研究逐渐扩展到学术界。随着社会所有部门对人工智能信誉的不断关注，安全可信的人工智能技术已成为研究领域的热点。解释是研究的重点之一。其他重点还包括人工智能系统的稳定性，隐私保护，公平等。

　　随着人工智能变得越来越高级，人们越来越关注算法绘制结果，并且计算过程已成为无法言喻的“黑匣子”。这些黑框模型是直接基于数据创建的。 AI算法如何绘制特定结果？创建算法的工程师或数据科学家对此也感到非常困惑。

　　“黑匣子”的概念是西方学者最初提出的。它是指从用户的角度看设备或产品时，它并不关心其内部结构和原理，而是关心其功能以及如何使用这些功能。

　　实际上，不仅“黑匣子”算法经常出现在AI系统中，而且该想法的使用历史悠久。中国文化中没有术语“黑匣子”，但是中医中医的理论是一个名副其实的“黑匣子”理论。

　　最早的技术和其他技术（例如医学图像）等同于不可逆的黑匣子。中医从外部开始，使用“查看问题”的方法间接检测原因，然后逐渐调节其以使患者的内部平衡平衡。统一，治愈疾病。

　　这也是医疗场景的使用。人工智能的使用不同于中药的使用。人工智能的使用需要基于数据。这需要大量患者诊断数据。但是，即使有数据，由于每个人的情况不同，AI也可能做出错误判断。因此，AI“黑匣子”的破裂更加紧迫。

　　自动驾驶汽车的悲剧是经常发生的。使用AI面部识别技术来检测道路上的行人，监视通过道路的随机现象，但错误地将广告牌上的角色识别为行人...人工智能的这些负面影响使人们必须正确地保持警惕。

　　作为一项技术，AI为人们带来了许多便利，并为社会带来了利益，这是不可避免的，它将成为一把双刃剑。

　　2腾讯发布了第一个国内解释AI报告

　　许多科技公司，例如Google，Microsoft，IBM，JD.com，Ant Group，Meituan等，已经启动了相应的措施。

　　Tencent刚刚发布了“ 2022年AI开发报告的解释 - 开放算法黑匣子的概念和实践”，应验证大型制造商对AI的紧迫性。

　　报告链接：https：//docs.qq.com/pdf/dsmvsrhhhbefd0b3zu

　　该报告分为五个部分。主要内容是AI的摘要，发展趋势，行业实践，对未来发展的看法以及最终摘要。

　　它可以解释AI的概述部分，该部分主要概括了机器学习模型面临的解释性挑战。可以解释AI的含义。它可以解释AI和透明度，问责制的两个维度，并解释可以在整体解释中解释和解释的两个维度。本质可以解释AI的发展趋势，该趋势主要解释了AI的透明度和解释性，以逐渐成为立法和监管关注的重点。政府公共部门使用的AI系统提出了更高的透明度和解释要求。 AI系统在解释方面避免了“一个尺寸-fit -all”要求，该行业积极探索可以解释AI的技术解决方案。在解释AI的行业实践部分中，它主要介绍模型卡机制，IBM的AI Fact Sheets机制，Microsoft的数据集数据列表（数据集的数据表）机制，其他解释性解释AI工具和可以解释AI的务必说明。在第四部分中，它主要讲述了解释AI未来发展的一些观点，包括立法和监督应遵循基于风险的现场治理思想的分类分类；探索机构解释标准；探索解释的替代机制，以在AI算法上形成有效的约束；指导和支持该行业，以加强对AI研究和着陆的解释，以确保技术良好；增强公众的素养，探索人类 - 机器密集型智能范式的智能。

　　作为行业中的第一个AI报告，它通常赞扬了学术和行业专家。

　　Weizhong Bank首席人工智能官Yang Qiang在数据隐私保护中评论：

　　“可以解释AI是一个复杂的领域。此报告具有很好的头脑。基于此，需要长期研究。当前的各种算法无法达到高效率和解释方面。需要根据要求选择要求。满足不同的需求。AI的解释性是一个长期的问题。它将很快拥有普遍的解释性框架。方向。”

　　Yang Qiang教授非常关注数据隐私保护的内容。近年来，它大力指出了联邦学习技术具有中国“可用数据”特征的特征的研究和应用，并促进了联邦学习框架的开源和研究。去年3月，Weizhong Bank发起的第一项国内联邦学习标准正式通过了IEEE认证，该认证构成了国内研究人员为数据保护所做的众多努力之一。

　　除Yang Qiang外，Yao Xin教授是南方科学技术大学计算机科学与工程系的负责人，也是第一位获得历史上最高奖项“ IEEE Fronk Rosenblatt奖”的中国学者。他说了：

　　“对于AI系统的降落，透明度和解释性至关重要，研究前景非常好；场景和解释目的，找到不同的折扣解决方案来促进AI技术的实施。”

　　什么是“可信AI”？在去年的对话中，姚明教授还与AI技术评论分享了他的观点。在其中，他提出，测试人工智能是否可信的最直接方法之一是“研究人员敢于使用”。例如，AI Pharmaceuticals，如果负责该项目敢于使用该项目的科学研究人员，则用户对AI的信任也会增加。但是事实是，当今许多AI产品没有得到充分的改进，科学研究人员害怕使用它。

　　可以看出，尽管主要工厂已经开始重视AI的治理和降落，但有必要解决当前人工智能模型的缺点，其可解释性和稳定性不足，仍然有必要为长期做准备 - 期战。

　　正如报告所指出的：

　　即使没有完全解释AI系统，我们也可以使用AI系统来提高决策的透明度。人类决策的解释可能无法准确反映影响人类决策的因素或无意识的偏见。实际上，即使无法充分解释AI系统做出的决定，我们也可以更好地了解与人类如何做出类似决策相比，整个AI系统是如何制定的。此外，AI的最大价值是可以在人类理解之外（模式）之外的复杂情况下找到和识别，因此，根据定义，这种AI系统不会以人类理解的方式充分解释。就像获得驾驶执照一样，我相信汽车可以安全驾驶，并且不需要所有人成为专业的汽车工程师杏鑫官网注册官方。使用AI系统时，并非总是需要说明。从长远来看，政府，社会，企业，工业，科学研究机构，用户和其他受试者需要共同探索对AI着陆计划以及相关保护和保护机制的科学和合理的解释，以促进降雪的科学和技术。

　　只有正确检查人工智能研究的问题并制定合理的解决方案，所有圈子才能促进AI技术的持续和稳定的发展，并解释AI将来的发展。让我们拭目以待！

　　参考链接：

　　1.https：//mp.weixin.qq.com/s/6ppv1sd0l-sfh4xivx8q

　　2.https：//mp.weixin.qq.com/s/locbn5serdfyvisllcm-vw

　　相关阅读可以解释AI先驱和加深工人教授Pan Yi：AI Pharmaceutical，在反向工程中做更多的“寻找具有结构的小分子” Gair 2021

　　2021-12-26

　　ACM和IEEE双重研究员，中国女计算机科学家Zhou Yizhen：可信的AI，可以预期未来

　　2021-10-11

　　联邦学习第一国际标准已正式发布！

　　2021-04-02

　　报告/反馈