skill-evolve-pro — 技能进化引擎（Phase 1 + Phase 2）\r

\r

版本：Phase 1 + Phase 2 \r 基于：SkillOpt / ReflACT 6步循环 \r 目标：让 AI 技能像神经网络一样，通过"失败轨迹 → 反思 → 编辑 → 验证"自动进化\r \r ---\r \r

技能概述\r

\r

• 名称：skill-evolve-pro\r
• 类型：自动化技能优化（类 ReflACT 框架）\r
• 描述：对指定技能执行完整的 6 步进化循环，从失败轨迹中提取改进信号，生成原子编辑patch，应用并验证，最终输出进化后的技能版本。\r
• 关键词：进化、优化 skill、自动改进、失败轨迹、技能迭代\r
• 阶段：Phase 1（核心引擎 + 轨迹加载器）+ Phase 2（SESSION-STATE 轨迹捕获）\r \r ---\r \r

触发条件\r

\r 用户确认优先于直接执行：Gate 审核完必须用户确认后才能执行修改，同意/确认才写入，拒绝则丢弃本次编辑。\r \r diff 展示环节：在更新技能文件之前，必须先向用户展示修改内容的 diff 对比（包括新增/修改的段落）。必须等用户确认，回复「确认改」才写入。\r \r | 触发话术 | 说明 |\r |---------|------|\r | 「进化一下 XXX skill」 | 对指定技能执行完整6步 |\r | 「优化这个技能」 | 同上 |\r | 「让技能自动进化」 | 同上 |\r | 「执行 skill-evolve」 | 同上 |\r | 「运行进化流程」 | 同上 |\r | 「evolve XXX」 | 英文触发 |\r \r

Phase 1 限制：用户需手动提供失败轨迹文件（JSON格式，放在 temp/ 目录），暂不支持全自动 rollout 评测。\r \r diff 展示环节：在更新技能文件之前，必须先向用户展示修改内容的 diff 对比（包括新增/修改的段落）。必须等用户确认是否覆盖原文件，用户确认后回复「确认改」才写入。\r \r ---\r \r

6步循环流程（核心）\r

\r

┌─────────────────────────────────────────────────────────────┐\r
│                    ReflACT 6-Stage Pipeline                  │\r
│                                                             │\r
│  ① Rollout   ② Reflect   ③ Aggregate   ④ Select           │\r
│       ↓          ↓           ↓            ↓                  │\r
│  采集轨迹   错误分析    聚类合并      重要性排序            │\r
│                                                             │\r
│  ⑤ Update(Skill)   ⑥ Meta-Reflect                          │\r
│        ↓                 ↓                                   │\r
│  应用编辑patch      评估验证                               │\r
│       ↓                                                   │\r
│  ⑦ Slow Update（跨epoch纵向优化，保护慢更新区）               │\r
└─────────────────────────────────────────────────────────────┘\r
```\r
\r
---\r
\r
### Step ① Rollout — 轨迹采集\r
\r
**用户确认环节**：应用编辑补丁到文档之前，必须先向用户展示要修改的内容摘要，必须等待用户确认后才执行\r
\r
**用户确认环节**：在应用编辑补丁到文档之前，必须先向用户展示要修改的内容摘要（包括修改类型、目标位置和修改内容）。必须等待用户确认（回复「同意」或「确认」），确认后才执行修改。\r
\r
**输入**：`temp/` 目录下的失败轨迹 JSON 文件  \r
**处理**：读取轨迹，记录每条任务的 `hard`(通过/失败)、`soft`(置信度)、`fail_reason`  \r
**输出**：`RolloutResult` 列表\r
\r
**文件格式**（用户放置）：\r
```\r
temp/\r
  failed_trajectory_001.json\r
  failed_trajectory_002.json\r
  ...\r
```\r
\r
每条轨迹 JSON 需包含字段：`id`, `task_description`, `question`, `fail_reason`, `predicted_answer`, `reference_text`\r
\r
**决策点**：如果 `temp/` 为空，提示用户放入失败轨迹文件后再继续。\r
\r
---\r
\r
### Step ② Reflect — 错误分析与反思生成\r
\r
**输入**：RolloutResult 列表  \r
**处理**：调用 DeepSeek API，对失败轨迹进行错误分类，生成 `ReviseSuggestions`（修改建议），每条建议包含：\r
- `type`：建议类型（add_rule / modify_step / fix_context / rewrite_section）\r
- `title`：简短标题\r
- `instruction`：具体修改指令\r
- `priority_hint`：优先级（high/medium/low）\r
- `support_count`：该建议来自多少条失败轨迹的支持\r
\r
**输出**：`RawPatch`（含 `patch.edits` 列表）\r
\r
**API 调用**：\r
```\r
model: deepseek-v4-pro\r
base_url: https://api.deepseek.com\r
```\r
\r
---\r
\r
### Step ③ Aggregate — 聚类合并\r
\r
**输入**：多个 RawPatch（可能来自不同批次的失败轨迹）  \r
**处理**：\r
- 按 `support_count` 降序排序\r
- 合并相同类型/目标的建议（避免重复编辑）\r
- 去重后输出合并后的 `Patch`\r
\r
**输出**：`Patch`（含 `edits` 列表 + `reasoning`）\r
\r
---\r
\r
### Step ④ Select (Clip) — 重要性排序与编辑预算选择\r
\r
### 停止机制\r
- **最大轮次限制**：每个进化周期最多执行 N 轮（Round 0-5），达到上限后自动停止，等待下一版本或人工干预\r
- **改善检测**：每轮比较 edits 与上一轮的重复度，若连续两轮相同或无改善则停止，输出最终报告\r
\r
**输入**：`Patch`（大量 edits）+ 当前技能文档 + `max_edits`（编辑预算）  \r
**处理**：\r
- 如果 edits 数量 ≤ `max_edits`：直接透传\r
- 如果 edits 数量 > `max_edits`：调用 optimizer LLM 对 edits 排名，选出 top-L（类比梯度裁剪，控制有效步长）\r
\r
**输出**：`Patch`（已裁剪至 `max_edits` 条编辑）\r
\r
**调度器**（LRScheduler）：\r
| 模式 | 行为 |\r
|------|------|\r
| `constant` | 固定编辑预算（如 max_edits=8）|\r
| `linear` | 线性衰减（max→min）|\r
| `cosine` | 余弦退火（max→min）|\r
| `autonomous` | 无限制，模型自决 |\r
\r
### 用户确认流程\r
1. **展示修改摘要**：向用户展示本次将修改的内容类型、目标位置和内容概要\r
2. **等待用户同意**：用户回复「同意」或「确认」后继续，「拒绝」则丢弃本次编辑\r
3. **执行写入**：确认后写入文件，输出最终报告\r
\r
---\r
\r
### Step ⑤ Update (Skill) — 应用编辑 patch\r
\r
**输入**：当前技能文档 + `Patch`  \r
**处理**：依次应用 4 种原子编辑操作：\r
\r
| 操作 | 说明 | 示例 |\r
|------|------|------|\r
| `append` | 在文档末尾追加内容 | 新增一整块规则 |\r
| `insert_after` | 在指定目标文本后插入 | 在某步骤后插入新子步骤 |\r
| `replace` | 替换一段目标文本 | 修改已有指令措辞 |\r
| `delete` | 删除目标文本 | 移除冗余/错误段落 |\r
\r
**慢更新保护区**：\r
- 标记：``\r
- 保护区内容**不受 Step ⑤ 编辑影响**，仅在 Slow Update 阶段由 optimizer 改写\r
- `append` 操作若命中保护区，插入保护区之前\r
\r
**输出**：新的技能文档 + 每步编辑的执行报告\r
\r
---\r
\r
### Step ⑥ Meta-Reflect — 元反思与验证\r
\r
**输入**：新技能文档 + 失败轨迹（用于对比）  \r
**处理**：快速检查新技能是否解决了已知的失败模式  \r
**决策点**：\r
- 若关键失败模式已修复 → 进化成功，输出新技能\r
- 若关键失败模式仍存在 → 记录未解决问题，进入下一轮循环\r
\r
---\r
\r
### Step ⑦ Slow Update — 跨 Epoch 纵向优化（Epoch 级别）\r
\r
> 此步骤在多个进化 epoch 之后执行，非每个循环都触发\r
\r
**输入**：上一 epoch 的技能 + 当前 epoch 技能 + 两轮 rollout 对比结果  \r
**处理**：\r
- 构建对比表：improved / regressed / persistent_fail / stable_success\r
- 优先处理 **regressed**（正确→错误的退化）\r
- 然后处理 **persistent_fail**（持续失败）\r
- optimizer 分析后生成自由格式的指导文本\r
- 将指导文本写入技能的 `` 内的内容不受 Step ⑤ 编辑影响\r
2. **编辑预算上限**：默认 `max_edits=8`，防止一次性大幅修改\r
3. **用户确认**：Phase 1 进化结果需用户确认后才覆盖原技能文件\r
\r
---\r
\r
## 使用示例\r
\r
```\r
用户：进化一下 copywriting skill\r
\r
Agent：\r
  1. 检查 temp/ 目录，找到 failed_trajectory_*.json\r
  2. 加载轨迹 → Reflect（生成修改建议）\r
  3. Aggregate（聚类合并去重）\r
  4. Select（按重要性选 top-8 编辑）\r
  5. Update（应用编辑到技能文档）\r
  6. 输出：进化后的技能文档（用户确认后生效）\r
```\r
\r
---\r
\r
## Phase 2: SESSION-STATE 轨迹捕获\r
\r
### 概述\r
Phase 2 新增从 `SESSION-STATE.md` 自动解析失败轨迹的能力，不再依赖用户手动放置 JSON 文件。\r
\r
### SESSION-STATE.md 期望格式\r
```markdown\r
## Outcomes\r
- hard_success: true\r
- soft_score: 0.9\r
- fail_reason: ""\r
- task_description: "用户要求生成 skill-evolve-pro 蓝图文档"\r
```\r
\r
### 核心数据结构：RolloutResult\r
```python\r
@dataclass\r
class RolloutResult:\r
    id: str                    # 唯一标识，如 "rollout_20260603_001"\r
    skill_id: str              # 技能ID\r
    task_type: str             # 任务类型：search/tool_use/persona/decision\r
    task_description: str      # 任务描述\r
    user_message: str          # 用户原始消息\r
    predicted_answer: str      # AI 预测的回答\r
    reference_answer: Optional[str]  # 参考答案\r
    hard: float               # 硬指标：1.0=通过，0.0=失败\r
    soft: float               # 软指标：置信度 0.0~1.0\r
    fail_reason: Optional[str]  # 失败原因\r
    feedback: Optional[str]    # 用户反馈内容\r
    timestamp: str             # 执行时间 ISO格式\r
    metadata: dict            # 其他元数据\r
```\r
\r
### Phase 2 模块\r
\r
| 文件 | 说明 |\r
|------|------|\r
| `scripts/rollout_result.py` | RolloutResult 数据类定义 |\r
| `scripts/session_state_parser.py` | SESSION-STATE.md 解析器 + 失败检测 |\r
| `scripts/trajectory_loader.py` | Phase 2 新增 `load_from_session_state()` + `save_rollout_result()` |\r
\r
### Phase 2 新增接口\r
\r
```python\r
# 从 SESSION-STATE.md 解析失败轨迹\r
def load_from_session_state(session_state_path: str) -> List[RolloutResult]\r
\r
# 保存单条 RolloutResult 到 JSON\r
def save_rollout_result(result: RolloutResult, output_dir: str = "temp/rollouts") -> str\r
\r
# 统一加载入口\r
def load_all_rollouts(\r
    session_state_path: Optional[str] = None,\r
    json_dir: Optional[str] = None,\r
) -> List[RolloutResult]\r
```\r
\r
### 失败检测规则\r
1. 用户纠正了AI的错误（"路径不对"、"芯片型号错了"）\r
2. AI执行失败（工具调用报错）\r
3. 用户说了"不是"或"重来"\r
4. 任务状态含 ❌ / 失败 / 错误\r
\r
### 硬/软指标判定\r
\r
| 场景 | hard | soft |\r
|------|------|------|\r
| 用户问题完全解决 | 1 | 1.0 |\r
| 部分解决（有遗留） | 0 | 0.5-0.9 |\r
| 解决但有副作用 | 0 | 0.3-0.7 |\r
| 完全没解决 | 0 | 0.0 |\r
\r
---\r
\r
## 未来扩展（Phase 3+）\r
\r
- [x] Phase 1: 核心引擎 + 轨迹加载器 ✅\r
- [x] Phase 2: SESSION-STATE 轨迹捕获 ✅\r
- [x] Phase 3: skill_reflect.py 反思生成 ✅\r
- [x] Phase 4: skill_ap\r
\r
### 用户确认流程\r
1. **展示修改摘要**：向用户展示本次将修改的内容类型、目标位置和内容概要\r
2. **等待用户同意**：用户回复「同意」或「确认」后继续，「拒绝」则丢弃本次编辑\r
3. **执行写入**：确认后写入文件，输出最终报告\r
\r
ply.py 四种原子操作 ✅\r
- [x] Phase 5: skill_gate.py 验证门控 ✅\r
- [x] Phase 6: skill_scheduler.py 调度器 ✅\r
- [x] Phase 7: slow_update.py 月度guidance ✅\r
- [ ] 全自动 Rollout 评测\r
- [ ] 多技能并行进化\r
- [ ] 进化历史可视化（diff 对比）\r
- [ ] 进化质量评分（基于通过率提升）\r
\r
---\r
\r
*最后更新：2026-06-03 · Phase 1-7 全部完成*\r
\r
\x3C!-- SLOW_UPDATE_START -->\r
\x3C!-- SLOW_UPDATE_START -->\r
## Long-Term Guidance (Epoch 1)\r
\r
### Core Principles\r
1. **结构性优先**：优先使用 `replace` 和 `rewrite_section` 操作，直接修改技能核心逻辑，避免仅追加边缘规则。\r
2. **聚焦高频失败**：分析失败轨迹中重复出现的 `fail_reason`（如“上下文缺失”、“步骤顺序错误”），针对性地重写相关步骤。\r
3. **验证驱动**：每次编辑后必须通过至少一条失败轨迹的验证，确保修复有效。\r
4. **拒绝低效编辑**：若编辑预算有限，优先选择 `support_count` 最高的建议，拒绝低优先级（priority_hint=low）的修改。\r
\r
### Persistent Failure Modes to Address\r
- 技能无法处理多步推理任务，需增加中间检查点。\r
- 对模糊输入缺乏鲁棒性，需添加输入预处理规则。\r
- 输出格式不一致，需强制标准化。\r
\r
### Edit Strategy\r
- 每轮至少应用1条 `replace` 操作，修改最关键的失败步骤。\r
- 避免连续多轮无编辑（如Round 3-4），若gate=PASS但无编辑，应主动生成高impact建议。\r
- 记录每次编辑的验证结果，用于后续epoch的对比分析。\r
\x3C!-- SLOW_UPDATE_END -->\r
\x3C!-- SLOW_UPDATE_END -->\r
\r