Third-Party Testing（第三方测试）

概述

第三方测试（Third-Party Testing）是 Anthropic 倡导的 AI 政策核心要素，主张建立独立于 AI 开发者的测试和监督体系，以验证前沿 AI 系统的安全性、建立信任并补充行业特定规则。Anthropic 认为自我治理（如 Responsible-Scaling-Policy）最终需要由广泛信任的第三方来验证和补充。

关键信息

为什么需要第三方测试

• 前沿 AI 系统（如 Claude、Gemini、ChatGPT）是"万能机器"，不适合传统的行业特定监管
• 存在严重误用风险（如生物武器、网络攻击）和意外风险（如涌现的自主行为）
• 自我治理依赖单一私人行为者的决策，不够可靠
• 核心论点：食品、医药、航空航天等行业都已建立第三方测试标准

测试体系蓝图

两阶段测试制度

1. 第一阶段：快速自动化测试，偏向避免假阴性
2. 第二阶段：如发现问题，由专家进行更深入的人工引导评估

潜在测试者生态

• 私营公司：分包或审计（类似会计事务所）
• 大学：管理测试计划，可能受政府监督
• 政府机构：直接执行少量法定测试，特别是国家安全风险相关

适用范围

• 仅适用于计算量最大、规模最大的窄范围系统
• 绝大多数 AI 系统不在其范围内

Anthropic 的承诺

• 通过 RSP 原型化测试制度并分享经验
• 通过承包商和政府合作伙伴测试第三方评估
• 深化前沿 Red-Teaming 工作
• 倡导为 NIST、US AI Safety Institute、National AI Research Resource 等机构提供政府资金
• 鼓励政府建立"国家研究云"以发展独立测试能力

政策优先事项

1. 增加政府 AI 测试资金：特别是 NIST 等机构
2. 公共部门 AI 研究基础设施：扩大测试和评估 AI 系统的人员数量
3. 国家安全能力测试：支持政府开发敏感能力的机密测试
4. 高级系统情景规划：前置开发针对假设未来能力的测试

开源模型的挑战

• 承认开放性在 AI 进步和安全中的关键作用
• 关键洞察："未来可能难以调和前沿 AI 系统的完全开放传播文化与社会安全文化"
• 如果模型导致重大误用或事故，规范可能需要调整
• 需要合法第三方来定义不可接受的误用并测试受控和开放模型

与监管俘获的关系

• 第三方测试通过建立独立能力、识别具体危害和创造公平竞争环境来对抗监管俘获
• 行业主导的联盟可能偏向有利于大公司的高合规方法

相关概念

Responsible-Scaling-Policy、Red-Teaming、Bug-Bounty、ASL-AI-Safety-Level、Frontier-Model-Security、Distillation-Attack、Usage-Policy、Election-Safeguards