yuqei
ddd60875a3
7.1 KiB
AI 合同平台 AI 受托法务复核与引用门禁整改报告
- 日期：2026-08-26
- 原评测运行：
stratified-v1-20260826 - 复核主体：
ai-delegated-legal-review-gpt-5.6-sol - 复核类型：平台所有者委托的 AI 法律质量复核
- 模型：
gpt-5.6-sol - 最终结论：43 条复核已完成，但 0 条接受、43 条拒绝；受控真实用户试点继续阻断
一、结论摘要
平台所有者明确授权由 AI 完成原计划中的 43 条法律质量复核，以减少常规人工介入。系统没有把 AI 冒充为具名人类法务，而是以独立复核主体 ai-delegated-legal-review-gpt-5.6-sol 写入不可变复核事件。
第二遍复核结果如下：
| 复核项 | 结果 |
|---|---|
| 应复核 / 已复核 | 43 / 43 |
| 事实与场景一致 | 42 |
| 事实结论存疑 | 1 |
| 引用可核验通过 | 0 |
| 引用可核验失败 | 43 |
| 发现重大遗漏 | 4 |
| 接受 / 修订 / 拒绝 | 0 / 0 / 43 |
因此，“复核完成”不等于“复核通过”。原 100 条自动结构门禁虽然在旧规则下显示 100% 通过，但其中 43 条抽检揭示了系统性引用假阳性，原自动结论已被本报告撤销，不能用于真实用户试点放行。
二、关键缺陷
2.1 真实模型回答与兜底引用被错误拼接
法律问答在 Provider 成功时，以规则兜底响应为底稿，仅替换回答正文。规则兜底响应自带示例法条，因此即使本次知识检索没有命中，最终响应仍显示有引用。
43 条样本均具备以下冲突：
- 回答正文明确说明“未命中明确法律依据，需要进一步检索确认”；
primary_sources全部为空；- 响应却附加 1 至 2 条规则兜底法条；
- 旧质量门禁只检查引用是否含标题、条号和摘录，没有检查来源 ID、文档、分块、URL，以及回答是否实际使用该引用。
2.2 法条文本正确不代表回答被法条支持
本次附带的五种法条摘录经政府或司法机关公开文本抽核，文字本身基本一致：
- 《中华人民共和国民法典》第509条、第703条和第707条可在最高人民检察院公布的民法典全文中核对；
- 《劳动合同法》第19条可在上海市人力资源和社会保障局公开说明中核对；第39条可在上海市人力资源和社会保障局公开说明中核对。
但这些法条没有作为本次回答的检索来源，也没有在正文中建立“具体结论—具体法源”的对应关系。尤其 35 条不同合同类型统一附《民法典》第509条，最多只能说明一般履约原则，不能支撑回答中的全部专业建议。因此 43 条的“引用可核验”均判定失败。
三、第二遍内容复核发现
除系统性引用失败外，AI 第二遍复核还发现 4 条重大遗漏：
| 样本 | 主要问题 |
|---|---|
data_processing-01 |
未把委托处理目的、期限、方式、信息种类、处理权限、禁止超指令处理、数据主体权利协助和委托方监督机制设为独立前置条件。 |
data_processing-10 |
证据保全建议未充分处理最小必要、法定删除义务、数据主体权利与业务保留周期之间的冲突，且“争议终结前停止常规删除”范围过宽。 |
sales-10 |
引用核验材料未明确官方来源、文本版本、公布及施行日期、检索日期和网页存档。 |
transport-10 |
未明确保存行业规则、承运条款、平台规则、技术标准及其当时有效版本和来源页面。 |
其中 data_processing-10 同时被判定为事实结论存疑；其余 42 条在给定场景内逻辑基本自洽，但仍因引用失败不能接受。
四、已完成整改
- Provider 成功响应只允许返回本次真实检索得到的引用，不再继承规则兜底示例引用。
- 自动质量门禁新增
citation_ungrounded：引用必须至少具有文档 ID、知识分块 ID、稳定来源 ID 或来源 URL。 - 自动质量门禁新增
citation_answer_conflict：回答声明未检索到依据却同时附引用时直接阻断。 - 新增可复用的 AI 受托复核执行器，采用“先评估产物、后显式执行”两阶段流程；执行前校验任务 ID、回答哈希、运行 ID和租户，防止评估后内容被替换。
- 复核产物不保存原问题和模型全文，只保存输入 SHA-256、批次哈希、判定、置信度和简要发现。
- 运营快照新增接受、修订、拒绝、批准率和法律复核门禁；存在拒绝时产生错误级告警，避免把“43/43 已完成”误读为通过。
- 后台文案调整为“治理复核”，明确 AI 受托复核优先、人工只处理疑难、冲突和低置信度例外，且 AI 不得冒充人类法务。
五、审计落库结果
- 原待复核队列：43；落库后：0。
review_required / review_completed：43 / 43。- 复核主体统一为
ai-delegated-legal-review-gpt-5.6-sol。 - 43 条均以
citation_verifiability=fail、disposition=rejected追加写入复核事件表。 - 每条反馈均记录模型、授权主体、输入哈希、置信度、引用结论和内容结论；原模型输出未被覆盖。
- 运行时评估 JSON 位于
.runtime/delegated-ai-legal-review/，不进入 Git。
六、发布决定
当前状态应更新为：
容量基线历史数据可保留；旧引用质量门禁结论 INVALIDATED；AI 法律复核 COMPLETED / REJECTED；受控真实用户试点 BLOCKED；公开注册 BLOCKED。
这不是 AI 自动化失败，而是 AI 复核成功发现了此前人工数量要求掩盖的系统性证据缺陷。继续减少人工介入的正确方向是强化可追溯法源和自动拒绝机制，而不是让 AI 对缺少依据的输出自动签字通过。
七、下一阶段修改方案
P0：重新评测前
- 建设共享或按租户授权的中国现行法源库，至少覆盖本次十类合同的核心法律、行政法规、司法解释和必要监管规则。
- 每个法源保存稳定来源 ID、官方 URL、标题、条号、摘录、公布日期、施行日期、版本和抓取/复核时间；不得仅保存自由文本。
- 回答输出增加结论到来源 ID 的明确绑定；任何没有来源绑定的法律结论进入拒绝或低置信度队列。
- 修复四个重大遗漏对应的提示词和 Playbook，重点补齐数据处理委托边界、证据保全与删除冲突、版本化外部规则留存。
P0：重新运行门禁
使用新运行 ID 重新执行 100 条分层样本，不得复用本次已通过的旧质量状态。最低放行条件为：
- 真实检索来源覆盖率 100%；
- 无来源引用和正文—引用冲突均为 0；
- 40 条高风险和确定性抽样全部由 AI 第二遍复核；
- 重大遗漏为 0；
- 接受或修订后接受率 100%，拒绝数为 0；
- AI 置信度不足、结论冲突或来源时效存疑时才进入人工例外队列。
在以上条件完成前，不建议邀请真实外部用户进入合同法律内容试点。