ai-contract-platform/project-docs/V2-ai-quality-action-effect-feedback-2026-06-25.md

AI 质量改进项执行后效果回写记录

日期：2026-06-25

背景

前两轮已经完成：

1. AI Trace 保存 RAG explain。
2. Trace 详情一键生成质量改进项，并带入 RAG explain 上下文。
3. 改进项执行 Prompt 草稿/知识库补充时自动继承 RAG 线索。

本轮继续完成“处理后是否真的改善”的回看能力。

本轮目标

• 在质量改进项详情页明确展示执行后的效果。
• 区分“来源 Trace”和“后续受影响 Trace”。
• 显示相关质量标签的当前异常率、完成后异常率、待处理标签变化。
• 让管理员能直接打开后续 Trace，核查改动是否真的减少来源不足、缺少引用、fallback 等问题。

已完成内容

AI Platform API

文件：

• yuqei-ai-platform/services/ai-platform-api/src/yuqei_ai_platform_api/repository.py

新增只读模型：

• AiQualityImprovementLabelEffect
• AiQualityImprovementTraceImpact

AiQualityImprovementExecutionBundle 新增字段：

• effect_breakdown
• impacted_trace_runs

计算口径：

• effect_breakdown 按改进项关联标签统计：
  • 当前窗口总 Trace
  • 当前异常 Trace
  • 当前待处理标签
  • 当前异常率
  • 完成后窗口总 Trace
  • 完成后异常 Trace
  • 完成后待处理标签
  • 完成后异常率
  • 异常率变化
  • 待处理标签变化
• impacted_trace_runs 返回改进项完成后匹配同一维度的后续 Trace，并标记：
  • 匹配的问题标签
  • 异常标签
  • 待处理标签
  • 质量状态和质量分

Python SDK / OpenAPI

文件：

• yuqei-ai-sdk-python/src/yuqei_sdk/ai_platform.py
• yuqei-ai-platform/packages/ai-openapi/openapi.yaml

完成点：

• SDK 增加新模型。
• OpenAPI schema 增加新字段和新结构。
• SDK 测试覆盖新增字段解析。

Contract Web 管理后台

文件：

• yuqei-contract-platform/apps/contract-web/src/app/admin/ai-quality-dashboard/[actionId]/quality-action-detail-client.tsx
• yuqei-contract-platform/apps/contract-web/src/app/globals.css

完成点：

• 配置执行时间线下方新增效果明细。
• 展示标签改善：
  • 当前异常数/总数
  • 完成后异常数/总数
  • 异常率变化
  • 待处理变化
• 展示后续受影响 Trace：
  • operation
  • provider/model
  • quality status/score
  • 问题标签
  • 待处理标签
  • 一键打开 Trace

验证结果

已通过：

python -m pytest yuqei-ai-platform\services\ai-platform-api\tests -q
python -m pytest yuqei-ai-sdk-python\tests\test_ai_platform.py -q
npm run web:typecheck
npm run web:build

当前闭环

现在质量改进项链路为：

1. Trace 发现问题。
2. Trace 生成改进项，带入 RAG explain。
3. 改进项执行 Prompt/知识库/模型配置动作。
4. 执行记录进入配置执行时间线。
5. 后续 Trace 自动进入效果观察。
6. 改进项详情页展示标签异常率、待处理数量和后续 Trace。

这符合 V2 方案中“AI 审计 + 质量评测 + 改进动作 + 效果回看”的闭环目标。