AI安全与产业治理论坛正式召开 共话人工智能安全可控发展

【云库科技】6月3日，北京智源大会期间，由北京瑞莱智慧科技有限公司与阿里安全联合举办的“AI安全与产业治理”论坛正式召开。

中国科学院院士、清华大学人工智能研究院院长张钹，北京市经济和信息化局郭家义、中国信息通信研究院安全所信息安全研究部主任魏薇、中国人工智能产业发展联盟办公室主任、信通院云大所人工智能部副主任石霖、瑞莱智慧RealAI田天、阿里巴巴安全部技术总监薛晖、百度安全主任架构师包沉浮等在内的数十位专家出席本次会议，围绕人工智能安全可控发展这一关键性话题展开深入探讨。

人工智能亟待发展“安全可控”新能力

在学术论道环节，中国科学院院士、清华大学人工智能研究院院长张钹在致辞中表示，未来人工智能产业发展在扩大应用场景的同时，必须实现数据、算法与应用层的安全可控。同时，他表示人工智能的安全可控问题要同步从技术层面来解决。在具体的实现路径上，张钹院士提出发展“第三代人工智能”，即融合了第一代的知识驱动和第二代的数据驱动的人工智能，利用知识、数据、算法和算力四个要素，建立新的可解释和鲁棒的AI理论与方法，发展安全、可信、可靠和可扩展的AI技术。

北京市经济和信息化局郭家义对论坛的召开表示祝贺，对发展第三代人工智能表达了充分的期待。他认为，当今世界正处于新一轮科技与产业大变革的伟大时代，人工智能作为新一轮科技革命和产业变革的重要驱动力量，正在深刻改变世界，但随着人工智能的快速发展，各种安全问题也接踵而至。第三代人工智能的提出恰逢其时，将助力我国实现人工智能在安全可信领域的突破,也必将对北京进一步落实国际科技创新中心定位、构建首都高精尖经济结构产生积极的影响。

作为第三代人工智能的践行者与引领者，瑞莱智慧CEO田天表示，现阶段人工智能产业正经历从高速增长向高质量发展的转变，产业期待的提升让金融、医疗等更复杂的高价值场景的应用需求不断增加，安全性的重视程度也不断提升，但由于传统技术范式存在天然的算法漏洞和缺陷，难以支撑人工智能的长久高质量发展，为此田天提出，需加快发展第三代人工智能，发展“安全、可控”核心能力。

如何定义人工智能的“安全可控”？田天阐述道，“安全”是指打造数据安全与算法安全两大核心能力，解决数据强依赖带来的隐私泄漏与数据投毒等隐患，同时提升算法的鲁棒性与可靠性，“可控”既指应用层面的合规可控，更指核心技术的自主可控，以自主可控为根基，通过理论创新、技术突破形成核心竞争力。安全可控是发展第三代人工智能的核心基准，也是加快人工智能高质量发展的有力支撑，田天强调。

数据的不安全和算法的不安全是制约当前人工智能产业发展的主要因素，也是发展安全可控人工智能需要解决的核心问题。伴随人工智能产业应用的不断深化，人工智能安全问题将迎来大规模爆发。中国信息通信研究院安全所信息安全研究部主任魏薇表示，人工智能与数据产业互促发展的同时安全问题也交织影响，一方面人工智能对数据强依赖的发展特性导致其面临的自身数据安全风险、应用导致的数据安全风险以及应用加剧的数据治理挑战日益凸显，另一方面，人工智能也为数据治理工作提供自动化、智能化、高效化、精准化的智慧支撑。围绕发展与安全并举的治理思路，魏薇从伦理规范、法律法规、标准体系、技术手段、人才培养等角度出发提出多项数据安全治理建议，为实现人工智能行业数据安全合规实践提供支撑。

相较数据安全，算法安全问题仍处于刚“兴起”阶段，但其安全危害仍然不容小觑。阿里安全资深算法专家何源介绍道，虽然人工智能技术已经在净化网络环境、知识产权保护、生物识别、线下安防等安全工作中发挥着越来越大的助力作用，让安全更智能，但其本身也面临着鲁棒性不够、可解释性差、技术滥用等安全风险，比如算法漏洞的存在可以针对图像检索系统开展攻击，导致非原创图片逃逸检测等，对网站安全与商家权益造成威胁等。

百度安全主任架构师包沉浮也表示，算法安全风险的实际危害正逐步体现，自动驾驶场景下，模型鲁棒性的欠缺将导致自动驾驶系统在对抗环境或光线、天气条件多变的复杂环境中发生错误识别而引发严重后果。除了算法安全外，他认为人工智能安全还包含“实现安全”。他强调，代码安全与场景安全的“实现安全”也直接影响着AI系统最终决策的完整性与安全性。

二、实现人工智能安全可控需配套“基础设施”

发展安全可控的人工智能是一项系统性的工作，需要行业标准、法律规范等治理工作与技术发展等多个维度共同推进，打造与之配套的“基础设施”。

针对算法治理路径的探索，清华大学人工智能治理研究院副院长梁正从社会治理的角度提出，算法模型存在难以解释、难以控制、难以问责的特征，可能导致歧视、脆弱不稳定、操纵剥削、信息茧房等安全风险。与国际算法治理经验相比，国内的治理依据虽然初步形成，虽然政策引导、标准指南、法律规章等相继发布，但尚未形成完善的治理体系。如何开展算法治理工作？他提出，首先需进行分领域、分级治理，并确定治理优先级，目前聚焦于利用个人信息进行的自动化决策系统，未来聚焦于涉及人身安全的高风险领域，同时在算法治理中识别和区分规则问题和技术问题，采取针对性的措施，以及坚持安全、公平、透明和隐私等基本原则，实现负责任的人工智能。

针对人工智能发展中隐私和数据保护的解决路径，中伦律师事务所合伙人陈际红表示，《网络安全法》与不久后将出台的《个人信息保护法》、《数据安全法》将构成我国数据保护与监管的“三驾马车”，为数据保护提供严格的法律环境，但人工智能产业发展对于大数据、实时数据、数据融合的需求将与这些数据保护原则产生冲突。为此他建议，一方面企业应主动做合规，在产品开发、产品技术架构预先主动防范风险，将隐私的概念引入到产品生命周期之内，另一方面他也呼吁立法机构要兼顾隐私保护和产业发展的平衡，社会普遍接受的良好隐私保护理念加上严格的法律环境是助推技术长久发展的两翼。

除了从政策、法规方面，技术基础设施的打造仍将发挥起基础性的作用。作为第三代人工智能领域的践行者与领导者，RealAI推出了一系列更加安全可控的人工智能基础设施，基于安全多方计算、联邦学习、匿踪查询等技术打造的数据安全共享基础设施RealSecure，用于解决数据隐私难题；针对AI系统推出的防火墙与杀毒软件平台RealSafe，能够为人脸识别、目标检测、图像分类等应用提供有效的安全检测与防御加固服务。田天表示，这一系列基础设施将打开AI能力的全新维度，为人工智能产业治理工作提供有效工具支撑。

尤其人工智能算法安全性的提升本质上是对抗攻防不断升级的过程，但是如何全面、客观、科学地衡量算法模型的安全性，是目前工业界和学术界都面临的难题。针对这一难题，清华大学联合阿里安全和RealAI联合发布业内首个基于深度学习模型的对抗攻防基准平台（Adversarial Robustness Benchmark），此基准可以更加公平、全面地衡量不同算法的效果，提供方便使用的鲁棒性测试工具，全面衡量AI模型的安全性，用户通过提交模型的方式可以获取安全性的得分。

不同于之前只包含零散攻防模型的对抗攻防基准，此次推出AI对抗安全基准基本上包括了目前主流的人工智能对抗攻防模型，涵盖了数十种典型的攻防算法。不同算法比测的过程中尽量采用了相同的实验设定和一致的度量标准，从而在最大限度上保证了比较的公平性。除此之外，本次发布的AI安全排行榜也包括了刚刚结束的CVPR2021人工智能攻防竞赛中诞生的排名前5代表队的攻击算法。此次竞赛吸引到了全球2000多支代表队提交的最新算法，进一步提升了该安全基准的科学性和可信性。“通过对AI算法的攻击结果和防御结果进行排名、比较不同算法的性能，建立AI安全基准具有重要学术意义，可以更加公平、全面地衡量不同算法的效果。”朱军介绍道。

三、安全可控人工智能将重塑产业智能

在“新基建”浪潮的驱动下，人工智能产业即将迎来与传统产业深度融合的机遇期。田天表示，在安全可控的核心支撑下，可以高效的贡献人工智能的技术优势，重塑产业智能，实现从“单点自动化”到“深度智能化”的价值提升。他提到，在金融领域，人工智能的创新融合正为金融场景打造出一个兼具决策分析与感官感知的“智慧大脑”。在安全可控的支撑下，“智慧大脑”能够拓展全新能力边界，实现更好的决策左脑与更加安全可靠的感知右脑。同时，他介绍到，RealAI基于多方安全计算、联邦学习、人工智能安全攻防等技术打造了一套结合“数据保障、算法检测、应用管控”的可信人脸完整解决方案，在保障人脸隐私安全、数据泄漏溯源、算法安全评估、信息合规等做前提下，推动人脸识别在关键的社会公共服务场景下的深度应用。

中国工商银行软件开发中心大数据与人工智能实验室副主任在其演讲中介绍道，工行在现有人工智能技术体系基础上，围绕“软硬件运营环境可信、数据隐私保护、算法模型安全”三大核心能力建设出金融领域的人工智能技术安全可信能力，保障人工智能大规模应用的合法合规、安全可信。他强调，AI安全是AI大规模应用的前提和必备条件，同时AI可信能力必须是全栈且覆盖模型全生命周期，通过安全可信技术的研究和突破，提升规模化AI生产部署的安全可信支撑能力，可以增强多方数据生产要素的融合能力，为数字经济社会提供更高效率、更低成本、更低门槛的普惠金融服务。

金融行业作为高度数据化的行业，数据隐私保护是必然趋势。建信金融科技有限公司创新实验室总经理王雪表示，隐私保护计算作为前瞻性的安全可信技术，能够在隐私保护基础上实现数据价值最大化，通过多方数据融合分析，最大程度挖掘数据价值，在满足监管要求的前提下实现数据互联互通，通过新的业务模式扩展外部数据连接，解决数据供给侧和需求侧匹配的问题，深入金融数字化转型。

除此，针对应用场景丰富且产业潜力巨大的智能制造领域，同样需要构建鲁棒安全的AI系统。三一集团无人驾驶科学家、三一机器人科技有限公司副所长贾全介绍道，智慧物流是无人驾驶技术在智慧工厂中的典型应用。在实际作业过程中，需要在高干扰的生产环境场景下高效高精度的完成工作，同时系统还面临着硬件平台与软件平台的安全挑战，为此三一机器人正通过产学研的紧密合作共筑产业安全，推动智能制造健康可控发展。

安全可控人工智能在各行业领域的应用将进入专业化的深层次融合阶段，面向垂直领域需求挖掘深层次应用潜力。广电运通信息科技有限公司总经理田丰表示，基于人工智能技术底座打造智能引擎，围绕智慧金融、智慧安全、智慧交通、智慧便民等业务领域赋能城市智能产业发展，在安全可控的基础上，将能够推动全要素高质量发展，深化城市智能战略布局。

最后圆桌环节，中国人工智能产业发展联盟办公室主任、信通院云大所人工智能部副主任石霖与浦发银行创新实验室业务专家李锋、光大银行多方安全数据智能实验室主任李成、滴滴安全安全产品专家孙以强、瑞莱智慧RealAI联合创始人刘荔园围绕安全可控人工智能的产业应用展开研讨。

在安全可控的助力下，“深度智能”时代正将加速到来，人工智能在各行业领域的应用广度和深度将不断得到拓展。人工智能的未来图景充满想象，但要实现真正的人工智能仍面临诸多深层挑战，田天表示，第三代人工智能通过释放“数据、知识、算法、算力”的全新维度，为实现安全可控的新一代人工智能提供可能，让人工智能走出“浅层智能”的舒适区，重塑全新的产业价值。