一、问题的提出

随着人工智能和机器学习算法的快速发展，自动化决策以前所未有的规模和速度嵌入人类生活，越来越多地被用来取代或增强人类的决策，从而影响人类的生活、利益、机会和权利。公共部门和私人实体使用自动化决策的场景非常广泛，如在线广告、医疗诊断、人事招聘、自动化驾驶、信用评价、行政审批、行政执法等。尽管自动化决策可以为人类生活带来极大便利，如提高效率、节约成本、提升品质等，但也存在损害声誉、引发偏见与歧视、侵害个人信息及隐私、缺乏透明度与可问责性等诸多问题及风险。

为了回应自动化决策引发的问题及风险，越来越多的国家（地区）和国际组织主张通过算法审计（algorithm audit）对自动化决策进行规制，推动“算法向善”。在欧盟，《可信AI伦理指南》将审计作为在人工智能开发和部署中实施伦理实践的一种重要方式。在美国，纽约市于2021年通过了一项法律，要求对纽约市就业和招聘决策中使用的人工智能系统，进行偏见审计，并公布审计结果。在我国，《个人信息保护法》《互联网信息服务算法推荐管理规定》等法律法规有关“合规审计”“算法机制机理审核”“科技伦理审查”的规定初步建立了算法审计的框架。

然而，若要使算法审计成为可靠的自动化决策问责机制，仍然需要解决一系列核心问题，如为什么要进行算法审计、谁来进行算法审计、算法审计的对象是什么、何时进行算法审计、如何进行算法审计等。在理论上，国内学术界虽然对算法自动化决策的法律规制展开了广泛探讨，但对算法审计制度的关注却较少。相较而言，国外学术界较早对算法审计制度进行了探讨，并形成了一些具有参考价值的研究成果。有鉴于此，本文主要以社会技术系统理论为视角，借鉴国内外的理论与实践，对我国建构算法审计制度的必要性、正当性及可行性进行阐述，以期为我国自动化决策规制提供参考。

二、自动化决策的定位：一种社会技术系统

实践与研究已经表明，自动化决策的广泛应用引发了诸多社会风险，有必要对其进行规制。在选择和设计自动化决策的具体规制路径之前，有必要对自动化决策本身的属性进行准确界定，识别其可规制性。从自动化决策的运行过程及影响来看，自动化决策是一种复杂的社会技术系统（socio-technical system），因为它不仅仅是一个简单的工具或过程，而是一种涉及人、机器和环境之间复杂互动的系统。这一基本属性不仅奠定了自动化决策的可规制性基础，同时也对自动化决策的规制路径提出了要求。

（一）社会技术系统理论的一般原理

“社会技术”（socio-technical）这一术语最初由英国学者埃里克·特里斯特（Eric Trist）等于20世纪五十年代提出，用于描述那些涉及人类、机器和工作系统环境的复杂互动系统。社会技术系统理论（socio-technical systems theory）的出现是为了回应占主导地位的技术官僚模式，该模式忽视了人为因素，强调技术的决定性作用。实践表明，尽管技术可以实现“完美无缺”，但由于人类（认知和行为）和社会因素的影响，关键系统故障通常是由“非技术”原因引发的。因此，社会技术系统理论强调社会与技术之间的相互作用，以一般系统理论和开放系统理论为基础，通过子系统的概念化来区分给定系统的各个维度，主要包括社会和技术两个子系统。其中，社会子系统是指社会技术系统中存在的人为因素，技术子系统是指社会技术系统中实现组织目标和任务所需的工具、技术和设备。

经过不断发展，社会技术系统理论的内涵不断丰富。一般认为，开放的社会技术系统通常具有以下五个关键特征：第一，系统应该有相互依赖的组成部分。第二，系统应该适应并追求外部环境的目标。第三，系统有一个内部环境，包括独立但相互依赖的技术和社会子系统。第四，系统具有等价性，即系统目标可以通过多种方式来实现，这意味着在系统开发过程中需要做出设计选择。第五，系统性能依赖于技术子系统和社会子系统的联合优化，若只关注其中一个子系统而忽视另外一个子系统，将可能导致系统性能和效用的降低。

（二）作为社会技术系统的自动化决策

从社会技术系统理论的角度看，自动化决策本质上也属于复杂的社会技术系统，其中科技与社会的关系不是孤立的，而是相互交织、密不可分。因此，“可信赖的自动化决策”不应仅仅涉及算法模型本身以某种方式实现可解释或者透明，还应当考虑算法模型对外在环境的实际影响以及利益相关者的规范性目标。参照美国学者罗伯特·博斯特罗姆（Robert P. Bostrom）和斯蒂芬·海宁（J. Stephen Heinen）提出的社会技术模型，可用图1对自动化决策过程进行如下描述：

图1 自动化决策作为社会技术系统

按照社会技术系统理论的基本原理，由于自动化决策的功能只有在人、技术和环境之间存在协同作用和合作时才能得到优化，所以任务和流程以及整个算法系统的设计必须考虑到这些相互作用的子系统。当社会子系统和技术子系统被分别作为目标时，自动化决策“作为一个整体”的重要动态可能会丢失或者被误解。当各子系统被孤立地进行优化或者调整时，由于不可预见的局部相互作用，可能导致自动化决策的性能下降甚至失败。这种风险可以用戴夫·劳尔（Dave Lauer）所说的“破损谬误”（fallacy of the broken part）来概括：当出现故障时，人们的第一直觉是找出并修复损坏的部分。然而，损坏的部分通常只是最表面的问题，“修复”损坏的部分往往不能防止未来的问题，因为这些问题是系统性的，通常涉及多系统的“故障”。实践也表明，大多数与自动化决策相关的严重错误或者事故可以追溯到需求缺陷，而不仅仅是编码错误。这意味自动化决策的规制路径应当契合自动化决策本身的社会技术系统属性，能够发现或预测错误、风险及威胁，并帮助纠正它们。

三、自动化决策的现有规制路径及其不足

为了应对自动化决策的社会风险，理论与实践就如何对自动化决策进行规制进行了探索，大致可以归纳为三种规制路径：个体赋权路径、信息规制路径、技术解决主义路径。上述三种路径在当前的自动化决策规制谱系中发挥着重要作用，但是任何一种路径都无法完全因应自动化决策引发的社会风险。

（一）个体赋权路径及其不足

权力关系是人际交往的重要维度，存在于社会的各个层面。使用算法来做商业和社会决策实际上是一个关于权力、拥有权力的人以及权力如何影响其他人的故事。基于“大数据”驱动的算法和机器学习的自动化决策打破了人与组织之间的权力平衡。一方面，算法技术使已经掌握权力的组织能够在更大范围内更为便利地行使权力；另一方面，基于算法技术所形成的新型技术权力使一些组织成为新的权力拥有者，并且能够做出影响个人和社会的决定。为了重新平衡权力结构，理论与实务提出了“个体赋权路径”，即通过赋予个体一系列权利（尤其是程序性权利），来对抗政府和私人的自动化决策。

从国内外的理论及实践来看，个体赋权路径主要通过赋予个体如下几项权利，增强个体在自动化决策威胁中的主体性：一是算法解释权。通过赋予个人要求对自动化决策进行解释的权利进而实现对“算法权力”的适度制约。在比较法中，一般认为，欧盟《一般数据保护条例》（GDPR）在引言第71条规定了“限制和弱化版本的算法解释权”，第13至15条则规定了“补强和组合版本的算法解释权”。二是自动化决策拒绝权。个人有权拒绝个人信息处理者仅通过自动化决策的方式作出对个人权益有重大影响的决定。在我国，自动化决策拒绝权的法定化依据主要是《个人信息保护法》第24条第3款，该条款旨在保障信息主体的自主参与，其适用条件有两个：一是仅通过自动化决策的方式作出决定；二是对个人权益有重大影响。

就自动化决策的规制而言，个体赋权路径契合当前尊重权利要求的一种普遍共识：社会不可突破某些限制，为了自己的某个共同善观念而牺牲个体福祉。然而，从治理效能的角度看，个体赋权路径可能难以有效应对自动化决策引发的风险，无法完全实现预期的规制目标，原因主要有以下几点：

第一，个体赋权路径中的“权利”基础本身存在较大的不确定性。围绕自动化决策而赋予个体的一系列权利势必不同于传统的权利类型，属于“新兴权利”范畴。因此，在理论证成与法定化方面通常存在较大的争议，难以形成统一的共识，上文提及的算法解释权和自动化决策拒绝权便是例证，这将从根本上限制权利的实现。

第二，个体能力难以匹配权利行使的制度规范。赋予个体权利也意味着权利的实现有赖于个体自身的行动。然而，在算法社会逐渐迈向“算法帝国”的背景下，面对处于强势地位的算法技术及其使用者，个体由于认知局限及专业知识匮乏，无法准确及时获知权利行使的信息和条件，即使意识到权利受到侵害，也可能因维权成本过高而削减行使权利的积极性，最终可能导致相关法律规定变成“僵尸条款”。

第三，带有“原子主义”色彩的个体赋权路径无法有效回应集体利益保护诉求。事实上，个体赋权路径隐含了一种“原子主义”方法，即分别照顾每一个成员，这个群体也会自动好起来。然而，由于每个人自身特点不一、行为偏好不同，对于权利行使态度不一，这种内生的碎片化趋势，不利于以公共利益为目的的集体行动的形成。

（二）信息规制路径及其不足

在政府规制中，信息规制是一种重要的社会性规制形式，其核心内涵是强制要求组织或者个人披露商品或服务质量的信息，并且以一种以用户为中心的方式呈现。信息规制之所以广受青睐，主要有以下几个方面的原因：一是信息赤字。信息规制可以通过促进信息流动，解决信息不对称问题，从而为那些购买商品或者服务受不充分信息影响的消费者带来直接的福利。二是外部性。在某些情况下，信息规制可以让第三方获得信息并采取适当步骤以避免风险，这比禁止或者改变市场行为的成本更低。就自动化决策的规制而言，“算法黑箱”通常被视为是导致诸多风险的根源，“不透明性似乎是法律学者和社会科学家对‘算法’的担忧之核心所在”。

对此，理论与实践很自然地就将信息规制作为自动化决策的规制路径，并且主要是通过强调算法技术的透明度和客观性来打消人们的担忧，“解决算法不透明与民主、透明度之间冲突的办法之一，是要求企业建立披露其算法信息的有效机制”，从而使自动化决策以透明的方式运行。不过，在理论上，围绕算法信息公开问题，学者们提出了不同的主张：其一，关于算法信息公开的法理基础，有论者认为，应当将算法决策重新描述为反映了公开的公共利益，而不是正当程序中纯粹的私人利益，算法治理不仅应当对它所影响的人负责，还应当满足或者至少不违反作为现代民主法治制度核心的开放政府的基本价值。其二，关于算法信息公开的对象及范围，有论者认为，算法系统的使用产生了广泛的潜在公开信息，包括算法的源代码、目标函数、规范和优化参数、训练和测试数据集以及将预测转化为行动的任何辅助计算机程序的编码细节。

在政府规制实践中，尽管信息规制具备很多优势，但大量实践表明，以强制披露为核心机制的信息规制并未实现其既定目标，其根本原因是：人们并未留意到信息披露；即使他们看到这些披露信息，也不会去阅读它们；即使他们尝试去阅读，也难以理解它们；即使他们读懂了，也没法运用它们。导致信息规制失败的原因也出现在自动化决策的规制中，并且变得更为复杂，主要体现在以下几个方面。

第一，要求完全公开算法信息可能与商业秘密保护之间存在冲突。无论是从现实角度还是从法律角度来看，算法透明度已经被密不透风的保密性所包围。根据商业秘密保护规定，算法程序拥有产权，并且无须进行披露。该规定还强调了算法保密的重要性，因为一旦算法遭到披露，它们就失去了商业秘密保护的法律意义。此外，当国家安全受到威胁时，国家秘密保护规则甚至可以提供更加强大的法律措施来阻止算法信息公开。

第二，要求完全公开算法信息可能会引发“算计算法”。所谓的“算计算法”（algorithm game）是指受自动化决策影响的主体可能使用回避、改变和混淆来利用或者迷惑算法。作为回应，算法设计者可能需要减少透明度，或者通过收集更多的数据来改变决策模型，使模型更加复杂。若完全要求公布算法的源代码、模型参数以及训练数据集等信息，将可能进一步加剧算计算法，引发新的问题与风险。

第三，要求完全公开算法信息可能导致“透明度悖论”。实践表明，高水平的可见性可能反而会降低透明度，并产生不透明，这便是所谓的“透明度悖论”。在自动化决策背景下，算法模型日趋复杂，许多人无法理解，或者即使可以理解，但需要花费巨大的时间成本，以致于无法完全理解。换言之，导致不透明的原因可能不是信息太少，而是信息太多或者错误，使得数据无法变成有意义的信息。

（三）技术解决主义路径及其不足

长期以来，围绕技术与人类、社会的关系问题，涌现了许多思想理论，比较具有代表性是技术决定论，该理论认为一个社会的技术进步遵循其自身内在的效率逻辑，同时决定着社会结构和文化价值的发展。换言之，技术具有自主性，可以自我生成、自我维持和自我规划。随着数字时代的来临，大数据、人工智能、算法等数字技术的快速发展与广泛应用，使得人们能够在各个领域进行大规模的精细干预，以解决各种复杂的社会问题，再加上受到技术决定论的影响，技术解决主义（technological solutionism）便应运而生。技术解决主义的支持者认为，可以将所有复杂的社会状况重新塑造成有明确且可计算的解决方案的清晰问题，并通过技术进行解决。技术解决主义的思路不是起草新的法律规则，而是寻找技术上的解决方案，从基于规则的秩序转向基于技术管理的秩序，从依赖规则和标准转向采用技术解决方案。

自动化决策的规制也受到技术解决主义的影响。在理论上，一些论者也主张通过技术来约束算法应当成为自动化决策规制的重要方式。季卫东认为，“随着机器学习能力不断增强，算法黑箱化问题日益严重，以技术制衡技术将成为自然人对机器人进行间接管制的重要方式”。美国学者伊菲奥玛·阿琼瓦（Ifeoma Ajunwa）总结了规制自动化招聘算法的技术解决主义方法：一是调整人类求职行为以“算计”（game）机器学习算法；二是创造有望消除偏见的新算法。在实践中，监管对话和监管实践越来越具有技术解决主义色彩，例如，欧盟GDPR第25条规定“通过设计和默认保护数据”，要求数据控制者采取“适当的技术性和组织性措施”以符合条例的规定。

尽管技术解决主义路径在一定程度上可以预防或者缓解自动化决策引发的风险，但是从实现法律及伦理规范的整体目标来讲，纯粹的技术工具可能无法实现预期的治理效能，原因主要有以下几个方面：第一，技术解决主义路径难以契合自动化决策的社会技术属性。纯粹的技术问责路径主要关注自动化决策中的技术子系统，可能会忽视社会子系统的广泛影响，无法实现社会技术系统治理所要求的“联合优化”（joint optimization）。第二，技术解决主义路径无法完全因应自动化决策的风险。技术解决主义路径可能有助于解决编码错误、系统安全隐患、数据质量不佳等技术问题，但对其他问题可能就鞭长莫及。正如有学者所指出的，“仅靠纯粹的技术工具无法可靠地防止歧视性结果，因为偏见的原因通常不在于代码本身，而在于更广泛的社会进程。因此，实施现有的最佳技术工具永远无法保证算法不存在偏见”。

综上所述，以个体赋权、信息规制和技术解决主义为代表的既有规制路径虽然在一定程度上也承认自动化决策的社会技术系统属性，但是在设计具体的规制方法时却经常从所处学科、所在场景进行个别解释，有时侧重于社会子系统，有时侧重于技术子系统，很少对这两个方面进行综合考量。这导致上述规制路径主要聚焦于自动化决策某一方面的风险，不足以对自动化决策的社会风险进行整体性回应。

四、迈向社会技术方法：算法审计的正当性

为了建构社会技术系统，需要将社会技术思维嵌入系统工程生命周期（包括分析、设计、评估等）中，由此便催生了所谓的社会技术方法或者社会技术设计方法。算法审计作为一种新型的社会技术方法，可以充分考虑自动化决策在技术、法律、伦理等维度的要求，弥补现有规制路径之不足，并且已经在一些国家（地区）进行实践，而我国法制与实践亦为算法审计的引入预留了空间。

（一）算法审计作为社会技术方法

算法审计是一种具体的审计类型，其制度内涵受到审计的一般理论之影响。国际标准化组织制定的管理体系标准将“审计”（audit）界定为一种系统的、独立的、有文件记录的获取证据并对证据进行客观评价的过程。根据此种理解，独立性、公正性和权威性便是审计的基本特征。在实践中，审计通常具有不同的目的和功能，主要包括以下几类：一是核实与标准或者程序的符合程度；二是对供应商进行资格认证；三是评估所采取的纠正措施之有效性；四是验证和监督服务。

技术总是引领社会的转折点，技术发展为新阶段的增长和变革打开了大门，同时也影响着社会价值观和原则。人类步入信息社会后，信息系统逐渐成为组织运作、个人生存的基础，其安全、稳定和可靠性需要得到保障，审计理论与实践也拓展应用到信息技术领域，“信息系统审计”应运而生。在算法社会，个人越来越被算法技术所包围，这些技术影响组织和个人的决策，但是个人却无法理解和控制这种现象，也无法有意识地参与民主讨论。在此背景下，算法社会中的算法审计与信息技术环境下的信息系统审计是相似的，但是两者在审计目标、内容、依据、准则等方面存在差异。参照信息系统审计的理论与实践，可以将“算法审计”界定为：根据公认的规范和标准，对算法系统从规划、开发、实施到运行维护各个环节进行审查评价，对算法系统及其业务应用的合法性、有效性、安全性、效率性等进行监测、评估和控制，并提出一系列改进建议的活动。

基于上述制度内涵，算法审计具有如下几个特征：第一，算法审计的实施主体强调独立性和专业性，实施算法审计的主体应当独立于算法系统的设计者、使用者、运营者等主体，同时具备完成审计工作的专业知识。第二，算法审计的目标具有复合性，主要包括合法性、安全性、可靠性、有效性、效率性等。第三，算法审计的方法指标具有学科交叉性，包含了技术审查与影响评估，前者主要涉及确定算法系统是否适合其预期用途，并识别与规范和标准之间的差异，后者主要涉及算法系统对个人、组织及社会可能产生的负面影响。第四，算法审计的触发时机具有全生命周期性，包含了过程评估与结果评估，前者是指对算法决策的整个过程（涉及算法系统的规划、开发、部署、运行等多个阶段）进行评估，后者是指对算法决策之后的影响结果及纠正措施进行评估。

从算法审计的内涵及特征看，其可以作为治理自动化决策的一种社会技术方法。在理论与实践中，社会技术方法的基本前提是，系统的分析、设计及评估应当是一个同时考虑影响系统功能与使用之社会和技术因素的过程。不同领域在不同时期形成的不同传统导致了不同的社会技术方法，包括软系统方法论、认知工作分析、基于场景的设计、以人为本的设计等。一般认为，社会技术方法通常具有如下特征：第一，与偏重技术层面的文化技术方法或将社会视为决定性因素的社会建构主义方法不同，技术和社会必须被纳入统一的分析中，不能厚此薄彼。第二，无论是技术的设计还是使用，都必须以分析为核心，不仅要分析单一的术语，还要分析开发者、消费者的日常活动。第三，关注的重点不应放在技术事实上，而应放在技术行为上，放在行为前的意图、计划和讨论上，放在不同行为者之间以及这些行为者与技术对象之间的互动上。算法审计旨在发现或预测自动化决策的错误、风险或威胁，并帮助纠正它们。在对算法进行审计时，需要获取有关系统本身及其运行环境的知识。这意味着要不仅要询问其行为是否适当、是否合法、是否有效、是否稳健，还要询问其是否透明、是否可以解释、是否使用得当以及从伦理、社会和文化角度看是否可接受。从这个意义上看，算法审计本质上是社会技术方法在算法社会中的具体化，契合自动化决策的社会技术系统属性。

（二）算法审计的方法论优势

除了契合自动化决策的社会技术系统属性外，与既有规制路径相比，算法审计在方法论上具备诸多优势，可以有效应对自动化决策引发的诸多风险。正如学者所指出的，“内部和外部/独立审计越来越多地作为问责制和透明度措施实施，重点是确定算法偏见的渠道，在算法设计中嵌入伦理原则，以及普遍预防和避免人工智能危害”。

第一，算法审计是科技伦理要求在自动化决策中得以实现的重要途径。近来年，科技伦理治理已经成为AI治理的主要抓手。我国《新一代人工智能治理原则——发展负责任的人工智能》和《新一代人工智能伦理规范》相继出台，对算法活动提出科技伦理要求。算法审计可以为技术、法律及伦理之间搭建一个沟通渠道，促进技术标准、法律规范及伦理规范的统一，“几乎所有涉及人工智能伦理的研究机构都呼吁对算法进行（伦理）审计。”一方面，算法审计可以通过组建一个涵盖技术、法律及伦理领域专家学者的审计机构；另一方面，算法审计在确定审计指标时，可以充分考虑技术、法律及伦理规范的要求，并可以通过细化或者新增指标来使这些要求变为操作实践，弥合原则与实践之间的差距。

第二，算法审计可以通过法定授权机制更好地平衡利益冲突。在以往的规制路径中，无论是个体赋权路径中的“解释权”，还是信息规制路径中的“强制信息披露”，均无法妥善解决所涉及的利益冲突，尤其是个人隐私、商业秘密保护与算法透明度之间的紧张关系。算法审计可以通过法定授权机制（如法律强制性规定、合同约定、保密协议、法定认证等），将审计过程中所涉及的“敏感信息”（包括个人隐私、商业秘密、国家秘密等）由具备相对独立地位的审计机构及其人员掌握，这可以在一定程度上消解利益相关方的顾虑，在保护个人隐私、商业秘密、国家秘密与算法问责之间保持平衡。

第三，算法审计通过相对独立的评估机制可以增加公众对自动化决策的信任。在数字经济发展和数字政府建设背景下，自动化决策具备一定的社会和经济价值。虽然在某些情况下放弃使用现有技术可能有很多合理的理由，但是恐惧和无知也可能会导致社会对现有技术的使用不足，即使这些技术是利大于弊的。在此背景下，算法审计通过对自动化决策展开相对独立的审查，即使无法完全解决算法黑箱问题，但至少也可以对自动化决策中的数据输入以及输出结果的应用作出有意义的监测，向社会公众提供系统质量的“信号”，进而增加社会公众对自动化决策的信任，释放自动化决策所蕴含的经济与社会价值。

第四，算法审计可以通过基于风险的方法因应不同类型的风险。基于风险的方法目前已经广泛应用于个人信息保护及人工智能治理中，也是算法审计的核心机制。从风险规制的角度看，整个算法审计过程实际上涵盖了风险识别、风险评估、风险管理与风险沟通等诸多阶段。算法审计不仅可以对伦理风险、法律风险及技术风险等风险发生之前进行预测评估，而且还可以在上述风险实害化后对所采取的补救措施的有效性进行评估，以此来提升个人或组织因应风险的能力。

第五，算法审计可以通过信号传递来解决自动化决策中的信息不对称问题。在自动化决策中，除了算法系统运行本身存在黑箱问题外，对于算法系统的开发、部署与使用也具有相当程度的隐蔽性，因此相关各方之间存在信息不对称。算法系统的开发者通常比系统的使用者拥有更多关于系统性能与工作原理的信息，而系统使用者通常又比系统的终端用户和监管者拥有更多的信息。算法审计通过让具有适当专业知识的“第三方主体”来对系统进行审查和评估，可以向相关各方更为集中、更为精准地传达有关自动化决策的信息，包括其开发、部署、风险、影响及补救措施等。

（三）算法审计的国际探索实践

由于算法审计在自动化决策规制中具有方法论优势，各国（地区）已经开始探索算法审计相关的立法及实践活动，并取得了较好的成效，算法审计已经成为规制自动化决策的重要手段。

第一，通过立法为算法审计提供法律框架。目前，一些国家（地区）已经或者计划通过立法对算法审计的法律框架进行规定。例如，新加坡《AI治理框架范例》规定，在考虑算法审计时，需要考虑下列因素：一是进行算法审计的目的；二是审计结果的目标受众；三是一般的数据问责制；四是人工智能模型中的算法可能是具有商业价值的信息，可以影响市场竞争力。又如，拟议的欧盟《人工智能法案》要求高风险人工智能系统的提供商必须对算法进行“合格性评估”（conformity assessments），并且应当建立“上市后监测计划”（post-market monitoring），以记录高风险人工智能系统在其整个生命周期中的性能，上述规定被认为是在欧洲范围内建立一个人工智能审计生态系统的法律依据。

第二，通过指南为算法审计提供操作指引。除了通过立法为算法审计提供法律依据为，还有一些国家则通过制定指南为算法审计提供操作指引。例如，英国信息专员办公室（ICO）于2020年2月发布了《AI审计框架指南草案》，旨在提供一种可靠的方法来审计AI应用程序，并确保它们公平地处理个人数据。该指南草案主要根据下列四个问题来架构的：一是人工智能的责任和治理含义是什么；二是我们需要做什么以确保AI系统的合法性、公平性和透明性；三是我们应如何评估AI中的安全性和数据最小化；四是我们如何在AI系统中实现个人权利。

第三，通过实践为算法审计积攒制度经验。一些政府机构、科研机构以及专家学者目前已经在积极探索算法审计实践。例如荷兰审计法院于2021年1月发布《理解算法》审计报告，确立了用于评估和分析算法的审计框架，该框架由五个视角组成：一是伦理视角，包含四项框架（如尊总自主权、防止损害、公平、可解释性和透明度）和七项具体原则；二是治理和问责制，主要关注各种要素的确定，如角色、职责和专业程度、算法生命周期的管理等；三是模型和数据，主要关注模型的开发、使用和维护，处理数据质量等问题；四是隐私，主要关注个人数据的使用，尤其是特殊种类的个人数据；五是信息技术的通用控制，主要关注组织采用的控制措施是否有效，措施包括传统的控制技术，如访问权限管理等。又如普华永道、安永、毕马威和德勤等专业服务公司也正在开发类似于鉴证（assurance）的框架，以帮助客户验证有关其自动化决策的声明。

（四）我国算法审计的既有基础

在我国，尽管算法审计尚处于探索发展中，但是一些立法规范已经初步涉及算法审计，可以提供法律依据，而既有的信息系统审计、手机APP测评等实践也可以为算法审计提供经验借鉴。

第一，算法审计的既有立法。目前有关审计、算法、人工智能、个人信息保护的法律法规大致从以下两个方面涉及算法审计制度：一是初步规定了算法审计的法律依据和基本要求。例如，《审计法》第36条规定，审计机关进行审计时，有权检查被审计单位信息系统的安全性、可靠性、经济性；《互联网信息服务算法推荐管理规定》第7条、第8条、第27条及第28条规定了算法推荐服务的算法机制机理审核、科技伦理审查和安全评估监测；《生成式人工智能服务管理暂行办法》第17条规定了生成式人工智能服务的安全评估。二是初步规定了算法审计的目标。例如，《个人信息保护法》第24条对自动化决策提出的“透明度和结果公平、公正”要求。

第二，算法审计的既有实践。在实践中，监管部门、行业组织、科研机构以及企事业单位针对信息系统、手机APP、搜索引擎算法等开展了一系列评估检测工作，可以为算法审计提供经验。例如一些地方的审计部门结合以往的信息系统审计经验，通过综合运用访谈法、观察法、现场检查、安全测试、程序跟踪法等方法对智慧医疗系统的安全性、可靠性、经济性等进行审计。又如中国消费者协会对手机APP适老化问题进行了专项测评，其主要通过两种方式进行：一是在供给端，依据工信部发布的《互联网应用适老化及无障碍水平评测体系》对手机APP进行技术评估；二是在消费端，通过调查问卷来了解老年消费者使用手机APP的现状、满意度、认知及其影响因素、需求及期待等。

五、社会技术系统工程视阈下算法审计的制度建构

在实践中，社会技术方法也面临一些问题，如术语不一致、抽象程度不同、相互冲突的价值体系、缺乏商定的成功标准等。为此，需要将社会技术方法贯穿于整个系统工程生命周期，发展成为社会技术系统工程。社会技术系统工程以一般系统理论为基础，能够提高整个系统的产品与流程的客观测量标准和关键数据，可以将它们关联起来，作为所有相关成员的控制参数。在社会技术系统工程中，有两类活动非常重要：一是宣传和提高认识活动，这些活动的目的是让整个系统的利益相关者了解其他利益相关者所关注的问题，并让利益相关者相信社会技术方法的价值；二是建设性参与活动，这些活动涉及将社会技术方法融入组织的实际系统开发和变革管理中。此外，按照审计学一般原理，有效的审计活动通常包含如下要素：一是信息和既定标准；二是收集和评价证据；三是胜任的独立人员；四是报告结果。从建构社会技术系统工程的角度出发，根据审计学一般原理，结合国内外已有的理论与实践经验，本文认为，可以从规范指引、实施主体、方法选择与实施结果四个方面对算法审计进行制度建构。

（一）算法审计的规范指引

按照审计学一般原理，审计规范及标准在审计制度建构中居于首要地位，因为要执行审计，必须存在可验证的信息以及审计师用来评价这些信息的标准。审计规范及标准可以分为不同的层级，包括国家审计准则、通用审计准则和专业审计准则、审计指南等。以信息系统审计为例，截至2008年3月，国际信息系统审计协会（ISACA）已经发布信息系统审计标准16个，审计指南39个，审计程序11个，成为信息系统审计的基本依据。尽管我国一些立法已经初步涉及算法审计制度，但是相关规定比较分散，一些规范的效力级别较低，且内容不够明确和具体，难以为算法审计的制度化提供基础性支撑作用，因此有必要完善算法审计的规范指引。目前我国正在建构“个人信息保护合规审计制度”，主要采取如下规范建构路径：一是通过《个人信息保护法》第54条和64条对个人信息保护合规审计制度进行原则性规定；二是通过《个人信息保护合规审计管理办法（征求意见稿）》以及附件《个人信息保护合规审计参考要点》对个人信息保护合规审计进行具体规定。本文认为，算法审计的规范建构可以充分借鉴个人信息保护合规审计制度提供的立法经验。

第一，通过正式的立法对算法审计制度进行规定。2023年6月，国务院办公厅印发的《国务院2023年度立法工作计划》显示，人工智能法案预备提请全国人大常委会审议。我国应当以此次人工智能立法为契机，借鉴《个人信息保护法》第54条和第64条的立法经验，明确规定算法审计制度。通过较高层级的立法对算法审计制度进行规定具备以下益处：一是可以明确赋予算法审计的法律制度地位，为其设定规则，以增强其权威性；二是可以最大限度凝聚算法审计理论与实践之间的共识，达成社会对算法审计的共同认知；三是算法审计服务市场发展尚不成熟，正式的立法可以弥补市场自我驱动能力的不足。

第二，通过实施细则或者技术标准为算法审计制度提供操作指引。法律规定通常都较为原则和笼统，若要转化为具体实践尚需要实施细则或者技术标准提供指引。可以借鉴《个人信息保护合规审计管理办法（征求意见稿）》的立法经验，由审计署、国家网信办、工信部等部门联合制定《算法审计管理办法》；也可以由行业协会、标准化机构联合制定算法审计指南或者标准，例如中国内部审计协会于2020年制定了《第3205号内部审计实务指南——信息系统审计》，指导信息系统审计实践。此外，在制定实施细则或者技术标准时，需要考虑自动化决策的阶段性、场景性，应当结合不同场景中算法决策系统的应用特点、风险程度及规制目标，有针对性地制定算法审计实施指南。

（二）算法审计的实施主体

按照审计学一般原理，审计主体是指审计的执行者，包括审计组织和审计人员两个层次。按照审计主体的不同，一般可将审计分为国家审计、社会审计和内部审计。无论采取何种类型的审计，审计主体均必须具备独立性和专业性。就算法审计而言，既可以由自动化决策的实施主体开展内部审计，也可以由政府监管机构和其他组织实施外部审计。

第一，由自动化决策的实施主体开展内部审计。在规制理论及实践中，自我规制将如何规制的裁量权从规制机构转移给规制对象，而规制对象可能对自身运营掌握着更多的知识和信息，因此更有可能找到最符合成本有效性要求的解决方案。由自动化决策的实施主体开展内部的算法审计，可以视为是自动化决策的自我规制，不仅可以充分发挥内部审计人员的信息优势，而且可以帮助实施主体通过识别优势和预防问题来进行运营业务规划，减轻可能造成的财务或者声誉风险。不过，对这里的“实施主体”需要进行广义解释，原则上它应当涵盖自动化决策系统的开发、部署、使用、运营等主体。此外，在实施内部的算法审计时，需要注意三个方面的问题：一是需要对强制性算法审计和自愿性算法审计的适用条件及要求进行区分；二是需要对内部审计人员进行适当的专业培训，分配足够的时间进行审计，并提供审计辅助工具；三是管理（决策）层需要对算法审计提供支持，内部审计人员应当与系统开发人员相对独立。

第二，由政府监管机构和其他组织开展外部审计。尽管自我规制具备优势，但也存在不足。只有当规制对象认为不偏离自身或所在行业施加的标准，将对自己最有利时，自我规制才能成功。由于合规至少要耗费相当的成本，因此需要一定的外部动力，为实施自愿性控制措施提供激励。就自动化决策的算法审计而言，由政府监管机构和其他组织开展外部审计也具备必要性。政府监管机构可以在自动化决策系统的全生命周期中开展算法审计，以确定系统是否符合法律标准。然而，考虑到自动化决策应用场景的广泛性，若完全由政府监管机构来承担外部审计职责，则可能对政府资源造成财政和时间负担。在此背景下，由非政府实体（如科研机构、社会组织）来进行外部的算法审计，可以与政府监管机构主导的算法审计形成互补。不过，出于算法审计的专业性、独立性与权威性考虑，可以由政府监管部门对审计组织及人员进行资格认证。

无论是内部的算法审计，还是外部的算法审计，除了强调审计过程的独立性外，还应当注重审计组织机构的科际整合性。在组建审计工作组织机构时，既应当包括专业的审计人员，还应当充分吸收法律专家、伦理学专家、软件工程师或者数据科学家等。

（三）算法审计的方法选择

按照审计学一般原理，审计方法的选择事关审计人员能否获得充分、适当的审计证据，这对于实现审计目的是非常重要的。根据算法审计的过程，可以将算法审计方法分为算法系统初步审查方法和进一步审查方法。就算法系统初步审查而言，主要是对算法系统及其内部控制进行调查、了解和描述，可以采用面谈询问法、问卷调查法、系统文档审核法等。就算法系统的进一步审查而言，主要是对算法系统及其内部控制进行测试，目前主要有以下几种方法：一是代码审计，即对软件解决方案或者产品中的源代码进行全面分析。二是非侵入性的用户审计，即在征得自动化决策系统的终端用户同意之后，对用户与系统正常互动的信息进行评估，以此来推断出系统的实际运作情况。三是抓取审计，即由审计人员向自动化决策系统反复发出查询请求或者其他指令，以观察并分析系统的输出结果。四是代理审计，即由审计人员利用计算机程序创造虚假的用户账户，并提交相关请求或者指令，进而观察和分析系统的输出结果。五是众包审计，即由审计人员招募足够多的“测试者”，由他们向系统提出请求或者指令，审计人员进而观察和分析系统的输出结果。

在算法审计实践中，上述审计方法具备自身的优势，但也存在局限性。例如，代码审计的前提条件是审计人员能够访问自动化决策系统的源代码，而被审计单位可能以保护商业秘密或者个人隐私为由予以拒绝，尤其是在外部审计中。在算法审计制度建构过程中，审计方法的选择需要重点注意以下三个方面的问题：第一，立法机关或者监管机构应当为审计方法的使用提供保障，从制度上破除不必要的障碍，以解决审计人员的后顾之忧。第二，审计方法的选择应当与算法审计的类型及指标相对应。若是由政府监管机构开展的以评估算法是否遵循了正确的法律政策为目的的算法审计，那么就可以综合运用抓取审计、众包审计等方法；若是由组织内部审计机构开展的以评估算法是否符合预期的性能为目的的算法审计，那么就可以综合运用代码审计、代理审计等方法。第三，审计方法的选择应当充分考虑算法审计的特点，如审计范围的广泛性、审计线索的隐蔽性、审计取证的动态性、审计技术的复杂性等。

（四）算法审计的实施结果

按照审计学一般原理，审计过程的最后阶段就是编写审计报告，它是审计师向使用者传达审计结果的一种手段，尽管各种审计报告的性质不同，但都必须向报告使用者说明信息与既定标准之间的相符程度。在算法审计活动中，由审计人员编写一份详细说明审计过程和评估结果的报告，对于审计目的的实现至关重要。结合已有的理论与实践经验，就算法审计的实施结果而言，需要注意以下三个方面的问题。

第一，算法审计报告的公布对象。自动化决策所涉及的利益相关者较为多元，因此，算法审计报告的潜在公布对象也比较多，大致有以下几类：一是保留在组织内部，仅供内部管理层使用；二是与股东或合作伙伴共享，如受聘为组织提供变革建议的顾问；三是与政府监管机构共享，以帮助证明合规性；四是向公众提供，使算法系统通过学术或新闻批评的方式接受公众问责。不过，根据不同的公布对象，可以适当对公布程度进行区分，例如，可以仅向公众提供算法审计报告的摘要，而细节则仅限于组织或监管机构。

第二，算法审计报告的时间效力。算法系统本身并非是静态的，随着技术的发展，算法迭代更新的周期也将不断加快。因此，算法审计报告只能在一个特定的时间节点上对算法系统的状态做出评价，这意味着必须对算法审计报告的有效时间进行适当限制。例如，前文提到的《纽约市人工智能招聘法》就明确规定，在雇主或者职业介绍中心网站上公布的偏见审计报告必须是最新的。

第三，算法审计报告的法律效果。对于不同的利益相关者，算法审计报告可以发挥不同的法律效果。对于政府监管机构而言，算法审计报告可以为监管决策提供支撑，这可能涉及事前监管，如使用沙盒等启动前测试环境，也可能涉及事后监管，如启动行政调查或者执法。对于自动化决策的实施主体而言，算法审计报告可以作为合规证明提交给监管部门，也可以为内部风险管理提供支持。对于自动化决策系统的终端用户而言，算法审计报告可以成为其主张权利救济的重要证据，但这并不意味着可以根据审计结果进行直接追责，侵权责任的成立仍然应当满足法律规定的基本要件。

六、结语：探索基于场景的算法审计

在数字时代，自动化决策已经被广泛应用于公共和私人场景中。不同类型的自动化决策确实带来了诸多好处，如提升效率、节约成本等。然而，若不加注意地使用自动化决策将可能会导致个人或者社会危害。基于此，一些国家（地区）的法律政策及伦理规范纷纷将“可信赖”作为使用自动化决策的核心要求，并且提出了诸如透明度、公平性、可解释性、安全性、尊重尊严、保护隐私等诸多细分原则或者目标。然而，这些原则或者目标大多较为抽象，在算法设计及其部署的实际环境中难以强制执行，并且容易受到不同解释的影响。即使在某些情况下这些原则或者目标获得了公开承诺，也可能只是提供了设计完整性的外表，本质上是“照旧的烟幕弹”。算法审计作为一种新的规制路径，不仅有助于确保将上述原则及目标嵌入实践中，而且还能预防和避免自动化决策引发的社会风险，因而逐渐受到理论与实践的肯认。

然而，算法审计也并非“万能钥匙”，其也存在一些局限性。首先是依据上的局限，算法审计的目标是评估算法系统是否符合相关伦理原则或者法律规范，但是这些原则和规范本身可能存在不明确、不一致或不完备的问题，导致算法审计的标准和方法难以确定和执行；其次是技术上的局限，算法审计需要对算法系统的内部结构和功能进行深入分析，但这可能受到算法系统的复杂性、不透明性和动态性的影响，导致算法审计难以获取和理解算法系统的相关信息；最后是经济上的局限，算法审计需要投入大量的资源和时间，但这可能与组织的经济利益和竞争优势相冲突，导致算法审计难以获得足够的支持和激励。因此，应当以建构社会技术系统工程为指引，遵循审计学的一般原理，将算法审计与整个自动化决策治理制度相融合，弥补算法审计存在的局限性，最大限度发挥其治理效能。

若要让算法审计在自动化决策治理中占据应有的地位，还必须引导审计实践及相关治理，产生有意义的问责制。本文主要提出一种通用方法，作为审计各种自动化决策的路线图。然而，自动化决策本身具有较强的场景性，一旦场景不同，自动化决策的性质就会不同，算法审计的原则、目标、方法、结果等也应当不同。例如，就公共行政中的自动化决策而言，由于公权力机构作为使用者，自动化决策就可能成为一种公共决策机制，对个体权利和公共利益产生广泛的社会影响。因此，在进行算法审计时，审计原则就要考虑依法行政原则的基本要求；审计目标除了关注自动化决策的稳健性、安全性、有用性等，更要着重考虑公平性、可解释性、正当程序与可救济性等；审计方法则应当更加注重公众参与性；审计结果也应当更加公开透明。总而言之，未来应当将场景完整性理论应用到算法审计中，结合不同场景设置不同的审计规则，形成基于场景的算法审计。

（责任编辑：彭錞）