Agent Eval — 量化评估 + 自我进化闭环

核心理念：能被衡量的东西，就能被优化。 基于 Karpathy AutoResearch eval loop + 诸子 Agent 复盘体系 + Phoenix Memory 架构

通用 Eval 流程

生成 → 评估 → 打分 → 分析失败点 → 改一个小地方 → 重跑 → 分数涨了保留，跌了撤回 → 循环

Eval 编写规则

• 每条 eval 必须是 yes/no 二元判断
• 不能主观（❌"写得好吗" → ✅"标题是否包含具体数字"）
• 每条测一个独立维度，不重叠
• 3-6 条最合适，太多会开始刷题
• 用真实历史任务做测试集，不编造

各 Agent Eval Checklist

✍️ Content（公文/论文撰写）

🛡️ Shield（合同/法律审查）

😈 Devil（找茬挑刺/科研质控）

5阶段 Peer-Review 流程 + 偏差检测框架（蒸馏自 K-Dense ScholarEval）

评审流程：

1. 初评（研究问题+整体质量+大缺陷）
2. 逐节审（摘要→引言→方法→结果→讨论→参考文献）
3. 方法学+统计严谨性
4. 可复现性+透明度
5. 图表+数据呈现

偏差检测清单（必须覆盖）：

• 认知偏差：确认偏差、HARKing、发表偏差、樱桃挑选
• 选择偏差：采样偏差、失访偏差、幸存者偏差
• 分析偏差：p-hacking、结局切换、选择性报告、亚组钓鱼
• 混杂因素：未测量混杂、替代解释

📜 Sage（古籍/文学/中医）

🎓 Scholar（学术检索/论文辅助）

8维度评分框架（蒸馏自 K-Dense ScholarEval）

8维度： 问题定义 | 文献综述 | 方法论 | 数据来源 | 分析解读 | 结果呈现 | 学术写作 | 引用规范

📊 Analyzer（数据分析）

🏥 Medical（医疗/互联网医院）

GRADE 证据分级 + 偏差检测（蒸馏自 K-Dense CDS + Critical-Thinking）

GRADE 分级： 1A（强推荐+高质量）→ 1B → 2A → 2B → 2C（弱推荐+极低质量）

打分机制

总分 = Σ(通过项权重) / Σ(所有项权重) × 100

等级：
  90+ = 🟢 优秀（可自动交付）
  70-89 = 🟡 良好（需抽查）
  50-69 = 🟠 需改进（必须人工审）
  \x3C50  = 🔴 不合格（重新执行）

Cron 自动评估流程

每日 23:30 — Agent 自评

1. 读取当日该 agent 的所有任务记录（memory/YYYY-MM-DD.md）
2. 对每个任务逐项跑 eval checklist
3. 计算当日平均分
4. 记录到 memory/evolution/\x3Cagent-id>.md

每周日 00:00 — CEO 周报

1. 汇总各 agent 周平均分
2. 识别分数下降趋势 → 触发调查
3. 识别高分稳定 agent → 确认无需干预
4. 提炼本周 top-3 失败点 → 写入 patterns.md
5. 将整体评分趋势发给老板

触发优化的条件

• 连续3天某 agent 低于 70 分 → 自动 SOUL.md 检查
• 某个 eval 项连续5次失败 → 写入 PAT 记录
• 周均分下降 >10% → 触发 agent 模型/配置审查

与现有体系的衔接

进化记录格式

memory/evolution/\x3Cagent-id>.md:

# \x3CAgent 名称> 进化日志

## 2026-04-04
- 日均任务数: 3
- Eval 均分: 78/100 🟡
- 通过项: C1✅ C2✅ C3❌ C4✅ C5🟡
- 失败分析: C3 数据真实度不达标（2/3任务使用了估算数据）
- 改进措施: 在 spawn 指令中强调"所有数字必须标注来源"

注意事项

• Eval 是工具，不是目的。分数只是手段，最终目标是老板满意度
• 不要为了刷分而刷分——如果某条 eval 不再有意义，该删就删
• 新 agent 上线前必须先定义 eval，没有 eval 的 agent 不转正
• 老板的口头反馈 > eval 分数（遇到矛盾时以老板为准）