（来源：《人民日报（理论版）》 2024-11-04）

张 欣

【编者按】确保人工智能安全、可靠、可控，有利于人类文明进步，是人工智能发展必须解决的重要课题。党的二十届三中全会《决定》作出“建立人工智能安全监管制度”“完善生成式人工智能发展和管理机制”等重要部署。如何加强人工智能治理，有效防范化解人工智能发展带来的各类安全风险，不断提升人工智能安全监管的制度化、法治化水平？2024年11月4日，《人民日报（理论版）》围绕这些问题进行学术探讨。我院张欣教授以《探索人工智能体的模块化治理框架》为题刊发文章。

科技兴则民族兴，科技强则国家强。党的十八大以来，我国高度重视人工智能发展，积极推动互联网、大数据、人工智能和实体经济深度融合，培育壮大智能产业，加快发展新质生产力，为高质量发展提供新动能。习近平总书记指出：“要坚持促进发展和依法管理相统一，既大力培育人工智能、物联网、下一代通信网络等新技术新应用，又积极利用法律法规和标准规范引导新技术应用。”习近平总书记的重要论述为我国人工智能发展提供了根本遵循和行动指南。大力发展人工智能，提高人工智能安全治理水平，要把党的二十届三中全会《决定》提出的“建立人工智能安全监管制度”重要部署不折不扣贯彻落实好，准确把握人工智能发展动向，重点关注人工智能前沿技术及其带来的风险挑战，加强前瞻性思考，不断探索人工智能治理的创新方案。

当前，生成式人工智能开创了人机交互新范式，凭借其强大的交互、理解和生成能力，为发展以大型自然语言模型为核心组件，集记忆、规划和工具使用于一体，具备感知和行动能力的人工智能体开辟了广阔前景。人工智能体已成为通用人工智能最重要的前沿研究方向和科技企业竞相布局的新赛道。它以大型自然语言模型为“智慧引擎”，具有自主性、适应性和交互性特征，可显著提高生产效率，增强用户体验，提供超越人类能力的决策支持，已能够应用于软件开发、科学研究等多种真实场景。尽管大规模商业化落地仍在初步探索和孵化阶段，但人工智能体所代表的虚实融合、人机深度互动等趋势对经济社会发展具有重要引领意义。然而，由于技术局限，人工智能体也可能引发复杂的、动态的、不可预见的风险与隐忧。

从设计逻辑看，人工智能体需要通过控制端获得认知能力，通过感知端从周围环境获取和利用信息，最终在行动端成为基于物理实体进行感知和行动的智能系统。

在控制端，大型自然语言模型作为人工智能体的“大脑”，通过学习海量数据形成知识，构成人工智能体控制系统中的记忆模块，但其在生成内容的可靠性和准确性方面存在风险。比如，模型生成的内容可能不遵循信息源或者与现实世界的真实情况不符，产生所谓“机器幻觉”；由于训练数据中的人类偏见，影响人工智能体的公平决策；等等。

在感知端，为充分理解具体情境下的显性信息和隐性信息，准确感知人类意图，人工智能体将感知范围从纯文本拓展到包括文本、视觉和听觉模式在内的多模态领域。这虽然提升了决策能力，却在融合和分析不同渠道和类型的多源数据时可能引发一系列隐私泄露和数据安全风险。比如，不当使用和分享人脸信息、指纹、声纹等高度个性化、具有永久性的生物特征数据，导致长期甚至永久性的隐私风险。为更好地处理复杂任务，部署多个人工智能体进行规划、合作甚至竞争，以完成和提高任务绩效的多智能体系统将成为主流和常态。多个人工智能体的系统交互就可能引发不可预见的系统性安全风险。即使每个算法在单独操作时看似安全和合理，但组合和交互之后仍可能产生完全不同且难以预测的风险，并迅速演化升级。比如，在股票市场中，如果人工智能被广泛应用，多个算法自动识别股票价格微小变化，同时大量执行高频交易进行套利，就可能引发股票市场闪崩的系统性安全事件。

在行动端，部署于真实物理环境的人工智能体将可能以更为立体、拟人的形象呈现。与虚拟空间不同，现实空间依赖交互式学习方法，人工智能体需要丰富的、全方位的信息感知来观察、学习和行动，通过基于反馈的学习优化能力，这可能对个人隐私构成全面性、侵入性和隐蔽性的风险。比如，解读用户的肢体语言并感知更加复杂的用户活动，未经用户授权持续隐秘地收集数据，一旦系统存在安全漏洞，可能引发巨大的数据安全风险。此外，随着人工智能体自主性不断提升，不仅可能干预和影响人类的认知和情绪，也挑战着人类作为独立决策者和独立行动者的能力与地位。比如，一些聊天机器人在与用户的交互过程中就出现了影响用户情感的输出，有时是负面并且具有操纵性的。

面对人工智能体带来的风险和挑战，要让人工智能体的行为符合人类的意图和价值观，需要探索创新性的治理方案，保证人工智能安全监管制度切实管用。人工智能体的发展正处于“从零到一”的关键期。治理方案应具备以不变应万变的能力，确保该技术的发展与应用始终处于可控的轨道上。人工智能体的开发、训练、部署、运行和服务等环节经过高度专业化的分工，形成了复杂的分层结构。每一层均有不同的参与者、利益相关方和潜在风险因素，使人工智能体具有“模块”化的产业链特质。因此，可以构建一种能够覆盖整个产业链和各个端层的模块化治理框架，从数据模块、算法模块、模型架构等关键节点出发，设计相应的治理模块。例如在部署环节，就可根据应用场景和部署模式的特性，灵活选择、协同组合不同的治理模块，构建与之相匹配的治理方案。模块化治理框架提供了一种具有可操作性的分解方法，通过将治理目标拆解为相对独立但关联耦合的治理模块，渐序推动治理体系形成，不仅提高了治理的灵活性和针对性，还能够适应技术的快速迭代。在构建基于数据、算法、模型和场景等维度的治理模块时，应以技术赋能监管，打造与人工智能体模块化治理框架相适配的、智慧化的治理工具，从而弥合风险动态性与监管静态性之间的张力，实现对特定高风险场景的精准化治理。

要构建面向人工智能体的交互式治理生态。人工智能体具有深度交互性、高度互联性以及动态适应性。相应地，治理方式应当超越传统的以个体为中心的治理，推动形成广泛互联、多方参与、多层次协作的治理生态。其中，技术开发人员、运营维护人员等技术社群对于人工智能体的治理将起到至关重要的“吹哨人”作用。应更好发挥技术社群的监督优势，在人工智能企业内部构建有效的约束机制。还应积极提高广大用户的数字素养，增强其依法、安全、负责任使用人工智能体的意识，实现与人工智能体的良性交互，推动形成向上向善的运行状态。

附：原文链接

http://paper.people.com.cn/rmrb/html/2024-11/04/nw.D110000renmrb_20241104_1-09.htm