先看结论
- 先建立 AI 系统清单和责任人,才谈得上风险分级。
- 控制点应嵌入数据、工具和发布流程,而不是依赖上线前填表。
- 法规映射要区分服务对象、使用场景、角色和所在司法辖区。
治理对象是完整 AI 系统
企业常把治理等同于模型选型或内容安全审核,但实际行为来自模型、提示词、检索数据、工具接口、权限和人工流程的组合。即使模型不变,知识库或工具参数变化也可能改变业务结果。
因此治理台账应以“系统—场景”为单位,记录服务对象、任务、数据类别、模型、工具、负责人、风险等级和当前版本。没有清单,组织很难判断哪些能力已上线、谁能使用、出了问题由谁负责。
风险分级必须落到具体动作
同一个智能体内部可以同时存在低风险和高风险任务。查询公开产品资料与修改客户合同不能共享一套控制策略。分级时应综合受影响主体、数据敏感度、动作可逆性、财务或法律影响以及人工介入程度。
风险等级决定评测深度、审批人、日志保留、上线方式和事件响应。分级不是给项目贴永久标签;当智能体从建议扩展到执行,风险和控制也必须重新评估。
- 低风险:检索、摘要、内部草稿
- 中风险:经营建议、客户分层、流程路由
- 高风险:对外发送、财务写入、权益或合规判断
- 禁止或需专项评估:无法提供合法依据或超出组织授权的用途
企业 AI 六层治理栈
数据与知识必须保留来源和权限
治理需要回答数据从哪里来、为什么可以使用、谁能访问、保留多久,以及如何更正或删除。对检索知识,还要记录版本、有效期和适用范围,避免已废止规则继续影响答案。
个人信息、商业秘密和跨境数据不能只靠提示词保护。访问控制应继承企业身份,敏感字段按需脱敏,日志避免复制完整输入,外部模型调用则需明确数据处理和留存边界。
工具权限决定智能体的真实权力
企业智能体的主要风险往往不在“说错”,而在“做错”。工具目录应为每个动作声明所需角色、参数约束、最大影响范围、幂等策略和人工确认点,并禁止模型绕过业务服务直接访问底层数据库。
对外沟通、付款、定价、权限变更等动作应采用双重控制:模型只能生成受约束的动作提议,执行层重新校验身份与业务规则。即使上游被提示词注入,底层也不应接受越权请求。
把变更、监控和事件响应连成闭环
模型、提示词、知识、规则和工具都应版本化。变更单需要说明影响场景、评测范围、回滚方式和批准人;高风险变更采用灰度发布,并保留可以快速切回安全模式的开关。
线上监控不仅记录异常,还应捕捉拒答率、越权拦截、人工修改、投诉和异常成本。事件复盘关注控制为何没有提前发现问题,并把结论转化为新样本、规则或权限调整。
法规映射要具体,不能照抄一张清单
中国《生成式人工智能服务管理暂行办法》主要面向向境内公众提供生成式 AI 服务的情形,并明确数据、个人信息、准确可靠和服务责任等要求;企业内部应用仍需结合个人信息保护、数据安全、行业规则和合同义务判断。
欧盟 AI Act 采用风险分级,对部分高风险用途强调日志、文档、人类监督、准确性和网络安全。跨区域企业应按“谁提供、谁部署、服务谁、在哪使用、造成什么影响”建立义务矩阵,而不是把所有法规机械叠加。
参考资料
以下资料用于核对法规、技术标准与平台机制;文中框架与判断由极策科技结合项目方法独立整理。
- NIST生成式人工智能风险管理框架应用档案
- 国家互联网信息办公室生成式人工智能服务管理暂行办法
- 国家互联网信息办公室人工智能生成合成内容标识办法
- European Commission欧盟人工智能法案风险分级与要求
本文用于企业技术与经营决策参考,不构成法律、审计或税务意见。具体实施应结合所在司法辖区和企业内部制度复核。