ApFramework 标志
发布日期

企业 AI 治理如何落到工程控制

作者
  • 作者头像
    姓名
    Shoukai Huang
    身份
    Software Architect · Indie Developer
    Twitter
企业 AI 治理中的责任角色、访问控制与评估反馈闭环

企业 AI 治理通常从公平、透明、问责、安全等原则谈起。但原则本身不会直接告诉工程团队该如何改造系统。检索是否要按用户身份过滤、部署门禁应检查哪些指标、审批需要留下什么记录,都还需要结合具体用例作出判断。

Navaneethan L 在《AI Governance Framework: Responsible AI at Enterprise Scale》中,将这一缺口归结为治理原则与工程决策之间缺少衔接。文章提出,应把治理要求对应到明确的责任角色、技术控制和可追溯证据。由此来看,企业 AI 治理不应只停留在独立于产品的政策文件中,还要落实到系统设计、发布和运行的工程安排里。

NIST 的 AI 风险管理框架提供了一个参照。Govern、Map、Measure、Manage 四个函数分别涉及治理、风险情境识别、测量和处置。NIST 将 Govern 设为贯穿其他函数的职能,并指出风险管理应覆盖系统生命周期、持续迭代。框架不是固定顺序的项目步骤,也不要求组织逐项勾选所有行动;组织可以根据自身情境、资源和能力选择适用做法。本文借用这一风险管理视角,讨论如何把相关职能落实到产品与平台控制上,但不把框架函数等同于具体技术方案。

理解这套治理思路,可以先抓住一个由下而上的三层结构。这里的“底层—中层—顶层”不是抽象比喻,而是对应后文 1—8 章的阅读路径:

层次(对应章节)核心问题这一组章节解决什么问题
底层:责任与边界(第 1—2 章)谁对系统负责?系统能做什么、不能做什么?先建立治理对象,划定用途、用户、数据、动作和责任人
中层:控制与证据(第 3—4 章)哪条要求由什么机制落实?如何证明它生效?把原则映射到权限、评估、人工审批、审计和平台控制
顶层:运行与反馈(第 5—7 章)系统变化或出错后怎么办?持续评估、观测、人工升级、变更复验,并在必要时回滚或退出
边界与回收(第 8 章)这套方法不能替代什么?说明合规、隐私、成本和证据强度的边界,避免把设计建议当成标准

因此,后文不是重复这三层结构,而是按层展开:第 1 章说明治理闭环,第 2 章明确系统、风险情境和责任人;第 3—4 章回答控制放在哪里、证据如何形成,以及哪些能力应由平台提供、哪些判断必须留在用例侧;第 5—7 章把控制放进运行周期,讨论评估、观测、人工监督、变更和退出;第 8 章收束适用边界。图 1 对应整个闭环,图 2 重点对应第 4 章的平台与用例分层。

1. 从治理要求到工程控制的闭环

企业 AI 治理从责任分配到控制和反馈的概念流程图
图 1:从用例边界与责任分配出发,经控制映射进入运行评估和审计,再将反馈用于修订控制与责任安排

这条闭环把治理从上线前审批延伸到运行期:系统边界和责任角色决定需要哪些控制,评估、人工升级和事故审计则为后续调整提供依据。这是对来源框架的概念整理,不是统一的实施流程。

把这条闭环与 NIST 的四个函数放在一起看,可以发现二者处于不同层次。Govern 关注组织是否建立政策、角色和监督机制;Map 关注系统情境、相关参与方、预期用途和可能影响;Measure 将风险判断转化为可分析、可测试、可监测的信息;Manage 则涉及控制资源的配置,以及响应、恢复和沟通。四个函数有助于检查治理流程是否遗漏重要工作,但不会替团队决定某个业务系统的具体阈值、审批人或技术实现。

2. 先界定系统,再谈控制

“我们有一个 AI 助手”还不足以说明治理对象。设计控制前,至少要弄清系统服务什么任务、面向哪些用户、处理哪些数据、允许执行哪些动作,以及哪些用途不在范围内。只提供内部知识检索的助手,与能够修改客户记录或触发交易的 Agent,需要的审查深度显然不同。

风险情境也决定评估内容。使用场景不清楚,团队就难以判断该检查什么:回答是否忠于检索材料、系统对不同任务群体的表现是否一致、工具调用是否越权,还是错误操作可能造成多大影响。同一个模型指标放在不同场景中,反映的风险可能不同。面向内部员工的草稿建议与自动提交客户变更,即使回答质量分数接近,控制要求也不应默认相同。

治理文章将系统责任分为技术、产品、数据和风险四类:技术负责人关注运行质量和事故响应;产品负责人关注用途、范围和业务结果;数据负责人管理输入数据的质量、分类与访问;风险负责人处理组织层面的风险审查。这是作者提出的组织设计,并非法律规定的标准角色表。小团队可以由一人兼任多类职责,但每项决策仍应有明确的负责人。

系统发生变化时,也要重新检查用例边界。扩大检索数据集、引入外部用户、把工具从只读改为可写,或让 Agent 开始调用其他系统,都可能改变原有风险。模型、提示词、知识源、权限策略和第三方服务的变化也可能影响系统行为。如果治理登记只在首次上线时填写,系统能力已经变化,评估却仍针对旧用途,控制就会脱离实际运行情况。

因此,用例登记不应止于上线申请,还应作为后续评估和变更判断的依据。登记内容至少要说明:批准的用途和用户是谁,数据与工具边界在哪里,如何判断预期结果,哪些动作必须升级,以及哪些变化会触发重新评估。NIST 的 Map 函数强调建立风险情境并识别相关影响;在工程实践中,这些记录也能帮助明确测试范围和控制责任。

起步时,可以为每个用例维护一页“治理卡”,不必先建一套大型治理系统:

  1. 登记边界。 写清用途、用户、数据来源、可调用工具和禁止用途,并指定技术、产品、数据、风险责任人。小团队可以一人兼任多个角色,但每项决定要能找到负责人。
  2. 列出关键风险。 从错误输出、越权访问、群体表现差异、不可逆动作和数据暴露等情形出发,记录可能影响谁、后果是什么。这里是风险识别提示,不是穷尽清单。
  3. 做控制映射。 对每项需要处理的风险,写明控制落点、执行责任和验证证据。例如“工具越权”对应运行时授权检查、拒绝事件记录和权限测试;“回答缺少依据”对应引用展示、来源核对样例和评估结果。
  4. 约定复核触发点。 记录哪些变化要重跑评估或重新审批,例如新增用户群、扩大数据范围、开放写操作、替换模型或改变关键业务流程。触发条件应结合用例风险设定,不必所有小改动都走同一审批链。

治理卡的价值不在字段多少,而在于让登记、控制和验证能够相互追溯。团队暂时无法自动化的检查,可以先指定人工复核人,并记录判断依据和后续处理;同类用例增多后,再把稳定、重复的控制沉淀到共享平台。

3. 把原则连接到控制和证据

原则落实到具体执行点后,才可能影响系统行为。透明性可以体现为在回答中展示信息来源和系统能力边界;公平性可以通过按相关用户群、语言或任务类型分别评估来检查;问责则需要记录部署版本、访问决策、人工审批和事故处置,以便追溯。

治理要求可能的工程控制需要留下的证据
使用范围清晰系统登记、身份和权限策略、工具边界用例定义、范围变更和批准记录
输出质量可验证评估集、发布门禁、生产监测测试版本、指标结果、例外理由
用户能够理解和核验AI 披露、来源展示、反馈与升级入口界面版本、用户反馈和升级记录
权限与动作受控API 与检索访问策略、工具授权、人工审批策略版本、允许或拒绝事件、审批决定
事故可以复盘交互、部署、访问和事故审计记录影响范围、原因、修复和复验结果

这张表用于辅助设计检查,不要求每个团队采用相同的服务、字段或日志格式。逐项审视时,可以问:由哪个组件落实这项要求?谁对控制负责?如何验证控制确实生效?出现例外时由谁决定?

评审时,可以为每项控制补上一条简短说明:触发条件 → 执行动作 → 验证证据 → 失败后的处理。例如,用户请求调用写入工具时,系统按身份和资源执行授权;测试覆盖允许和拒绝两种路径;运行记录保留策略判定结果;若策略服务不可用,则按预先定义的失败关闭或人工升级方式处理。具体采用哪种失败策略,要看业务后果,不能对所有工具一概而论。

还要分清“设置了控制”和“控制确实生效”。访问策略写在文档里,不代表每条工具调用路径都执行了它;设置发布门禁,也不代表评估集覆盖了真实任务。控制应能定位、测试,并在运行中观察。风险模型或治理登记指出的关键条件,最好都能对应到执行点和验证证据。无法自动化验证的部分,则要说明由谁审查、多久复核,以及例外如何批准。这是本文的工程综合建议,并非 NIST 对特定系统架构的规定。

语义模型不能替代授权。企业本体或知识图谱可以描述业务对象、关系、动作类型和前置条件,但模型中“存在一个动作”,不代表当前用户或 Agent 获准执行。运行时仍要依据调用者身份、资源、场景和策略作出授权判断,并记录执行结果。把业务语义与执行权限分开,可以避免将“系统知道如何做”误当成“系统可以做”。

4. 共享平台控制与用例判断

企业只有一个 AI 功能时,逐项人工检查或许可行。产品增多后,每次发布若都要重新审查身份、日志、评估和安全护栏,治理很快会沦为重复劳动。治理文章提出的平台化思路,是把通用访问控制、输入输出检查、评估门禁、日志收集和可观测能力放到共享平台,供新产品默认继承。

企业 AI 治理共享平台层与用例治理层的分层示意图
图 2:共享平台提供可继承的控制能力;用途、风险阈值、人工升级和例外仍由具体用例及其责任人定义

图中呈现的是治理职责关系,并非某个企业已经部署的架构。平台可以提供可复用的控制底座,但不能替每个产品决定允许哪些用途、哪些用户群需要评估、某项业务动作是否要人工批准,也不能自动批准偏离默认控制的例外。

平台治理与用例治理各有职责。平台团队负责默认控制是否可用、可观测、可维护;产品与领域团队描述具体任务、数据和动作;风险责任人处理控制无法覆盖的情况。如果把这些职责统称为“由平台统一负责”,平台就可能被要求承担自己并不了解的业务判断。反过来,若产品团队重复建设所有基础控制,也会带来实现差异和维护成本。

平台也不应成为新的责任黑箱。控制共享后,应能看出哪些用例继承了它、哪些配置被覆盖、哪些例外仍然有效。某项控制更新可能影响多个系统;用例的权限或风险范围变化,也可能要求平台提供不同配置。平台化的价值,在于区分可复用的执行能力与必须由用例承担的判断,而不是把所有判断集中在一个团队。

可以按职责把控制分为三类:

  • 平台默认控制。 适合跨用例复用,例如身份认证、基础审计、版本标识和通用输入输出检查。
  • 用例配置控制。 由产品或领域团队根据用途配置,例如允许的知识范围、敏感信息阈值、评估维度和人工升级条件。
  • 例外与高风险控制。 不能只靠默认配置处理,例如不可逆写操作、重大影响决策或偏离评估门禁的发布,需要明确审批人与证据要求。

关键在于划清这三类控制的边界。平台负责让默认能力保持稳定,用例团队说明自身差异,风险责任人判断例外是否可接受。这样既能减少重复建设,也避免把业务判断藏进一个难以看见的共享服务中。

5. 评估什么、何时评

治理不能止于上线审批。提示、模型、检索数据、工具描述和业务规则的变化都可能影响系统质量;即使没有代码发布,上游数据更新或用户输入变化也可能改变结果。因此,评估要回答两个问题:系统哪些部分需要测试,生命周期中的哪些时点需要测试。

对 Agent 而言,只比较最终回答往往不够。知识库中的评估框架把评估对象分为组件、执行轨迹、任务完成度和端到端业务结果。组件层检查工具参数与单项能力;轨迹层观察执行步骤、重复调用和循环;任务层检查目标是否完成、依据是否可靠;端到端层关注采纳、返工、耗时或成本等业务结果。各层回答的问题不同,单一分数无法概括系统是否安全、有效,或适合某种用途。

这套分层方法与 NIST 的 Measure 函数有相通之处,但不是 NIST 规定的评估分类。NIST 将 Measure 描述为使用定量、定性或混合方法分析、评估、对标和监测风险及影响;具体评估对象和方法仍需结合用例、参与方和风险情境确定。例如,工具调用成功率可以说明接口是否按预期执行,却不能单独证明权限正确;任务完成率可以显示目标是否达成,却无法说明错误结果对不同用户的影响是否相同。

评估时点也不应只绑定代码发布。知识库中的 Agent 评估案例描述了从开发阶段实验、持续集成门禁、发布阶段验证到生产监测的过程,并分别评估工具、单个 Agent 和多 Agent 编排。这是 AWS 作者对其生产案例的描述,本文没有独立验证其中的具体指标或效果。该案例说明,评估对象可以超出最终回答,变化也可以在离线和线上阶段被发现。其他系统可以采用不同流程,关键是根据风险决定哪些变化需要重新验证。

总平均分可能掩盖局部差异。若系统服务于不同语言、部门或任务,按相关维度拆分评估有助于发现性能差距,再进一步调查样本、任务难度和数据覆盖。差异本身不能证明偏见或因果关系;分层方式、样本量和阈值都要结合具体场景设计。对于高影响用例,评估记录还应保留测试数据版本、指标定义、适用范围和已知盲点。否则,即使数值可以复现,也难以判断它是否回答了正确的问题。

实施时也不必一开始就建立庞大的评估体系。可以先为关键任务准备少量版本化样例,分别检查组件行为、执行轨迹和任务结果,再把发布前评估与生产失败样本连接起来。线上出现的越权、错误引用、重复调用或人工驳回,不应只作为一次性事故记录;在脱敏和权限允许的前提下,也可以转化为回归样例。这样,评估集会随着真实问题逐步变得更有针对性,但仍需定期检查样本是否代表当前使用范围。

6. 生产观测、人工监督与审计

离线测试无法覆盖所有输入和环境变化。生产观测可以记录系统执行轨迹、工具调用、拒绝与升级情况、延迟和成本,并将这些信息与评估结果关联,帮助团队发现漂移或定位失败。但观测信号本身不能证明系统正确:调用成功不等于动作合规,回答被用户采纳也不一定代表事实正确。遥测能把行为转化为可诊断的证据,其意义仍需结合任务规则、领域判断或人工复核来解释。

有些风险无法靠评估分数消除。对于影响受监管决策、重大财务结果或不可逆操作的输出,需要明确升级条件、接收角色和可执行的审批权限。审批界面应提供足以理解影响的上下文,并留出判断所需的时间。如果审阅者只能看到一段答案和一个“批准”按钮,人工在回路就可能退化为形式签字。何时必须人工介入,应由用途、后果、适用规则和组织策略共同决定,不能直接从某篇文章的通用示例推出。

审计记录为后续复盘提供材料。根据系统需要,记录可涵盖交互所用的模型和配置版本、检索来源标识、工具动作、访问策略决定、评估结果、审批及事故处置。目标不是“尽可能多地保存内容”,而是在权限和隐私边界内回答几个问题:系统执行了什么、依据哪些可追溯信息、谁作了关键决定、问题如何修复。原文关于日志不可篡改和固定留存年限的说法,不足以确定某个组织适用的技术或法律要求;留存范围和期限仍需另行核实。

观测、人工升级和审计最好通过同一条线索关联起来,例如任务 ID、trace ID 或部署版本。这样,团队遇到异常时可以回查具体执行轨迹,并定位当时使用的模型、提示词、检索来源、策略决定和人工处理。建立关联不等于要保存所有原始内容;在隐私和访问边界内,保留足以解释决策的最小证据集,通常更易维护,也便于控制访问。

7. 变更、复验与退出

持续治理不止于发现问题,还要将问题转化为有人负责的变更。模型或数据源升级、权限策略调整、增加工具、修改提示词或迁移业务流程,都可能影响既有评估结论。变更记录应说明改动内容、受影响的用例、审批人、所需验证,以及出现退化时的回滚方式。是否采用实验、金丝雀发布或人工审批,要根据变更影响和风险决定;这些是可选的工程手段,不是每个系统都必须照搬的发布流程。

知识库中的改进循环材料指出,成功指标、护栏指标、审批等级、变更记录和回滚责任,需要工程、产品、数据、安全等团队共同约定。把评估失败样本加入回归集,有助于防止已知问题再次出现;但旧测试通过,只能说明已覆盖的行为没有触发既定失败条件,不能证明新能力正确,也不能说明未覆盖场景安全。复验深度应与变更风险相称,结果再反馈到用例边界、控制配置和下一轮监测。

系统也需要明确退出条件。若用例不再满足业务需要、风险无法降到组织可接受范围,或新方案逐步接管旧能力,责任人应能决定停止新增流量、撤回工具权限、完成必要的数据与用户处置,并确认依赖方已迁移。现有知识库材料支持为系统和规则指定 owner、替代关系与退役条件,也支持渐进替换和保留必要历史,但没有给出完整的企业 AI 退役标准。因此,这里提供的是治理设计建议;具体停用步骤仍需结合数据义务、业务连续性和适用规则另行制定。事故中的凭证吊销或工具封禁可以用于紧急止损,但不能代替正式退役审查。

最小落地路径可以概括为:先登记明确的用例,再为关键风险指定控制和证据;上线前用代表性样例验证,运行中通过观测和人工反馈发现偏差;发生重要变化时重新评估,风险仍不可接受时再限流、回滚或退出。团队可以先从一个高影响用例着手,逐步把重复出现的控制沉淀为平台能力,不必等整套治理制度全部成型后才开始。

8. 治理框架的边界

将治理原则对应到 owner、控制和证据,可以帮助工程团队把抽象要求转成设计问题,但这并不构成合规保证。控制存在不代表它有效;评估覆盖部分场景,不代表所有群体和输入都经过验证;人工审批也不意味着决策一定正确。团队仍需测试控制执行路径、旁路和失效模式,并检查评估是否覆盖真实使用方式。

本文用 NIST AI RMF 来组织风险管理问题,并不把它当作针对具体系统的认证或合规结论。该框架明确说明,其行动不构成固定检查清单,使用者可根据需求和能力选择适用部分。但框架自愿使用,不代表外部法律义务也是可选的;法规是否适用,仍取决于法域、用途和组织角色,并需由相应法律与合规人员依据官方规范判断。

平台控制和审计也涉及成本与隐私取舍。记录更多信息能为复盘提供材料,同时也会增加敏感信息暴露、访问管理和存储负担;更详细地公开内部检测规则,可能帮助用户理解系统,也可能让恶意输入更容易绕开限制。治理方案应根据用途选择记录字段和公开层级,不能把“全面透明”或“全面留痕”当成无需权衡的口号。

工程评审时,可以用几组问题检查治理设计是否落实到系统中:系统允许和禁止哪些用途?风险情境和受影响对象是否清楚?每项关键责任由谁承担?原则对应哪项执行控制?控制如何测试和监测?平台默认能力之外有哪些用例差异?什么情况需要人工升级或重新评估?变更、例外和回滚能否追溯?系统不再适用时,谁能启动退出?这些问题不能替代正式风险评估,但能把原则讨论带入具体的架构与运行决策。


9. 来源