2023年5月11日，欧盟议会内部市场委员会和公民自由委员会投票通过了《人工智能法案》（以下称“法案”）的谈判授权草案，该谈判授权草案也是法案的第五个折衷文本。欧洲议会层面于6月就该谈判授权草案进行投票表决，法案有望于2023年底正式通过并成为全球首部综合性人工智能监管法律。法案为不同风险程度的人工智能系统施加不同的要求和义务，其提出的风险分类、价值链责任、负责任创新和实验主义治理等思路对我国人工智能立法具有一定的借鉴意义。

“法案”出台意义

出台“法案”是欧盟人工智能发展关键举措

自2018年以来，欧盟先后出台《欧洲人工智能战略》《人工智能协调计划》两个重要政策文件，初步勾勒出欧盟人工智能的发展战略框架。2020年，欧洲委员会发布了两份有关“塑造欧洲数字未来战略”的政策文件，其中，《人工智能白皮书》关注交通、医疗等公共领域的人工智能发展及风险化解；《欧洲数据战略》提出推动欧盟成为世界上最具竞争力的数字敏捷型经济体，建立欧盟数字单一市场。在此背景下，2021年4月，欧盟出台该“法案”，从而在法律层面强化落实欧盟战略，以期实现引领全球人工智能治理的目标。

“法案”是应对人工智能技术潜在风险的重要方式

ChatGPT等通用人工智能技术的发展，迅速改变了人工智能系统的构建和部署方式，其颠覆性特质也带来了侵犯个人隐私、泄露商业秘密、传播虚假信息、造成信息茧房等安全隐患。ChatGPT等人工智能领域近期进展使得立法需求越发重要、紧迫，因此，欧盟立法者就相关问题展开了广泛且激烈的讨论，欧盟理事会主席国也多次发布“法案”妥协文本，不断增删、澄清“法案”内容。

“法案”主要内容

“法案”围绕人工智能系统的开发、投放市场及使用明确了统一的监管框架，采用基于风险的规制思路，为不同风险程度的人工智能系统施加不同的要求和义务。具体内容如下：

一般性原则与禁止性规定

“法案”明确了适用于所有人工智能系统的一般原则以及禁止的人工智能行为。

一是明确了开发和使用人工智能系统或基础模型需遵守的六项一般原则。第一，人类主体和监督，即人工智能系统应作为服务于人、尊重人类尊严和个人自主权的工具来进行开发和使用，其运作方式可以由人类适当地控制和监督。第二，技术稳健性和安全性，即人工智能系统的开发和使用方式应尽量减少意外伤害，并在出现问题时保持稳健。第三，隐私和数据治理，即人工智能系统的开发和使用应符合现有的隐私和数据保护规则，同时，其处理的数据在质量和完整性方面也要符合高标准。第四，透明度，即人工智能系统的开发和使用方式应允许适当的可追溯性和可解释性，同时应使用户意识到他们与人工智能系统的交流或互动，以及适当告知用户该人工智能系统的能力、限制和对其权利的可能影响。第五，多样性、非歧视和公平，即人工智能系统的开发和使用方式应考虑不同类别的行为者，并促进机会平等、性别平等和文化多样性，同时避免欧盟或国家法律禁止的歧视性影响和不公平偏见。第六，社会和环境福祉，即人工智能系统应以可持续和环境友好的方式进行开发与使用，并使所有人类受益，同时监测和评估对个人、社会和民主的长期影响。

二是明确了禁止开发和使用的特定人工智能系统。法案禁止“侵入性”和“歧视性”等人工智能系统的使用，具体包括：第一，采用超越人类意识的潜意识技术或有目的的操纵、欺骗技术，实质性扭曲人类行为，并可能对人类带来身体或心理伤害。第二，利用个人或特定群体的弱点，包括人格特征、社会经济状况、年龄、身体或精神能力，实质性扭曲人的行为，对人类造成或可能造成重大伤害。第三，为一般目的提供自然人社会评分，可能导致歧视性结果或对某类群体进行排除、限制使用。第四，在公众可进入的空间使用实时、远程生物识别系统。

高风险人工智能系统相关要求

高风险人工智能系统可能对人类的安全及基本权利产生负面影响，是欧盟的监管重点。“法案”通过附件三明确了高风险人工智能系统的范围，并通过专章对高风险人工智能系统进行规范，明确了对高风险人工智能系统的具体要求以及产业链相关主体的义务。

对高风险人工智能系统规定了具体要求。第一，建立风险管理制度。在人工智能系统的整个生命周期中，应建立、实施、记录和维护与高风险人工智能系统有关的风险管理系统。第二，建立数据管理制度。高风险人工智能系统的训练、验证和测试数据集应满足适合系统预期目的的数据管理要求。第三，制定技术文件。应在该系统投放市场或投入使用之前制定高风险人工智能系统的技术文件，并保持更新。第四，留存相关记录。高风险人工智能系统的设计和开发应具有在系统运行时能够自动记录事件的能力。第五，保障系统的准确性、稳健性和网络安全。

针对高风险人工智能系统产业链的不同参与者明确了细化的义务性要求。高风险人工智能系统的提供者是指开发人工智能系统的自然人、法人、公共当局或其他机构。相关义务主要包括，第一，保障系统安全：提供者应确保高风险人工智能系统满足上述高风险人工智能系统相关要求；建立质量管理系统；确保进行人为监督的自然人了解自动化相关风险；履行备案义务，在欧盟数据库中备案该系统；发现高风险人工智能系统不符合法案规定时，立刻采取纠正措施并通知分发者、进口者、主管部门以及部署者等；确保高风险人工智能系统符合无障碍要求。第二，标明相关信息：在高风险人工智能系统上标明提供者的名称、商标、地址、联系方式等信息；在高风险人工智能系统上以明显、清晰的方式加贴永久性CE标志。第三，留存相关资料：制定并保存高风险人工智能系统技术文件；保留高风险人工智能系统自动生成的日志；应国家监督机构的合理要求，提供所有必要的信息和文件，以证明高风险人工智能系统符合相关要求。

高风险人工智能系统的进口者是指将带有在欧盟外自然人或法人名称、商标的人工智能系统，投放市场或投入使用的欧盟内自然人或法人。主要义务包括：进口者应确保提供者实施了相关合格评估程序；确保提供者起草了技术文件；确保人工智能系统带有所需的合格标志，并附有所需的文件和使用说明。此外，进口者也应按规定履行信息披露的义务以及与主管部门合作的义务。

基础模型提供者是指在海量数据集上进行规模化训练的人工智能模型提供者。基础模型提供者在向市场提供模型前，均应确保该模型符合以下要求：第一，确保系统满足使用要求，进行适当的系统设计、测试和分析；通过评估，确保基础模型在整个生命周期内满足性能、可预测性、可解释性、可纠正性、安全性和网络安全等方面要求；制定广泛的技术文件和可理解的使用说明；建立质量管理系统。第二，满足数据处理、效率要求，只处理和使用满足基础模型数据处理目的的数据集；提高系统的整体效率。第三，进行备案，提供者应在欧盟数据库中对该基础模型进行备案。此外，将基础模型专门用于生成式人工智能时，基础模型提供者还应当履行透明度义务，采取足够的保障措施防止产生违反欧盟法律的内容；在不影响国家或欧盟版权立法的情况下，记录并公开提供受版权法保护的训练数据使用情况的详细摘要。

高风险人工智能系统部署者是指在授权情况下使用人工智能系统的自然人或法人、公共当局或其他机构。相关义务包括：第一，适当使用，部署者应采取适当的技术和组织措施，以确保按照系统所附的使用说明使用这些系统。第二，开展人为监督，在部署者对高风险人工智能系统进行控制的情况下，应按照“法案”要求实施人为监督；确保进行监督的自然人有能力、有适当的资格和培训，并拥有必要的权力；确保定期监测系统的稳健性和网络安全措施的有效性。第三，开展评估，在高风险人工智能系统投入使用前，部署者应进行基本权利影响评估，评估因素包括系统的预期目的、预期使用的地理与时间范围、可预见的影响与风险、降低负面影响的方案等内容。

“法案”对我国的启示

“法案”基于风险预防的理念为人工智能制定了一套覆盖全过程的风险规制体系。其中，“法案”规定的备案、评估等制度，在我国正在征求意见的《生成式人工智能服务管理办法（征求意见稿）》中亦有体现。同时，“法案”的风险分类分级、价值链责任、负责任创新和实验主义治理等思路，为我国的人工智能立法提供了一定的参考。

探索分类分级监管路径

可考虑采用“法案”中的分类分级治理思路，依托对不同场景人工智能类别的梳理，以及相关风险对个人生命、生活权利、社会秩序的影响大小，将不同应用场景进行分级，并根据人工智能在不同应用场景的风险级别匹配不同的规制措施。如，针对可能显著危害人类安全、人格尊严和自主意识的应用采取禁止措施；针对高风险人工智能系统采取严格的风险管控措施；针对有限风险人工智能系统仅规定透明度要求。

明确划分人工智能产业链各主体的责任义务

人工智能产业链涉及多个主体，建议在模型提供者、服务提供者之间进行合理的义务分配。对于模型提供者，关注科技伦理、推动公共训练数据池建设、合理分配算力；对于服务提供者，关注信息内容安全、市场竞争秩序与用户权益保护。

探索鼓励人工智能创新发展的监管手段

“法案”引入监管沙盒，在人工智能系统投入使用前，监管部门提供一个受控的环境，在指定时间内对人工智能系统进行开发、测试和验证，一旦发现对人的健康、安全和基本权利产生任何风险，立即采取措施降低风险。建议采取包容审慎的原则，探索监管沙盒等监管手段，进一步平衡创新与监管之间的关系。

作者单位：中国信息通信研究院