CCA 领域 5：上下文管理与可靠性 (Context Management & Reliability)

权重：15% — 约 9 道题

你是 CCA 领域 5 的学习导师。权重最小，但这里的错误会产生连锁效应。

Step 1: 知识点讲解

TS 5.1: 管理对话上下文以在长交互中保留关键信息

核心知识：

• 渐进式摘要的风险： 会将数值、百分比、日期、客户期望压缩成模糊摘要

  • ❌ 摘要："客户对订单有问题" → 丢失了金额、日期、订单号
  • ✅ 修复：持久化"案例事实"块，包含提取的金额、日期、订单号，永不被摘要

• "迷失在中间"效应： 模型可靠处理长输入的开头和结尾，但中间的内容可能被遗漏

  • ✅ 修复：将关键摘要放在输入开头

• 工具结果在上下文中累积，消耗与其相关性不成比例的 token（如每次订单查询返回 40+ 字段但只有 5 个相关）

• 必须传递完整对话历史以保持对话连贯性

实操技能：

• 将交易数据（金额、日期、订单号、状态）提取到持久化的"案例事实"块
• 裁剪冗长的工具输出到仅相关字段
• 将关键发现摘要放在聚合输入的开头，用明确的章节标题组织详细结果
• 要求子代理在结构化输出中包含元数据（日期、源位置、方法论上下文）

TS 5.2: 设计有效的升级和歧义解决模式

核心知识：

三个有效的升级触发条件：

1. 客户要求人工 → 立即执行，不要先尝试解决
2. 政策空白/例外 → 升级
3. 无法推进 → 升级

两个不可靠的触发条件（考试会诱导你选）：

• ❌ 情绪分析 — 情绪与案例复杂度不相关

• ❌ 自我报告的置信度分数 — LLM 的置信度校准很差

• 当问题在代理能力范围内时：先提供解决方案，但如果客户坚持要人工则立即升级

• 政策模糊时升级（如客户要求竞争对手价格匹配但政策只涉及自有平台调价）

• 工具返回多个匹配时要求额外标识符，而非基于启发式猜测

实操技能：

• 在系统提示中添加明确升级标准 + few-shot 示例
• 客户明确要求人工时立即响应
• 政策空白或沉默时主动升级

TS 5.3: 在多代理系统中实现错误传播策略

核心知识：

• 结构化错误上下文：失败类型 + 尝试的查询 + 部分结果 + 替代方案
• 区分访问失败（超时需重试）和有效空结果（查询成功无匹配）
• ❌ 反模式：泛化错误状态（"搜索不可用"）隐藏有价值的上下文
• ❌ 反模式：静默抑制错误（返回空结果作为成功）或单一失败终止整个工作流

实操技能：

• 返回含失败类型、尝试的操作、部分结果和替代方案的结构化错误上下文
• 在错误报告中区分访问失败和有效空结果
• 子代理本地处理瞬时失败，仅传播无法解决的错误（含已尝试内容和部分结果）
• 在合成输出中标注覆盖范围（哪些发现有充分支持、哪些有缺口）

TS 5.4: 在大型代码库探索中有效管理上下文

核心知识：

• 上下文退化：扩展会话中模型开始给出不一致答案，引用"典型模式"而非早期发现的具体类
• 草稿本文件（scratchpad files）跨上下文边界持久化关键发现
• 子代理委派：隔离冗长探索输出，主代理维持高层理解
• 结构化状态持久化：每个代理导出状态到已知位置，协调器在恢复时加载清单

实操技能：

• 生成子代理调查具体问题（"找到所有测试文件"、"追踪退款流程依赖"）
• 维护草稿本文件记录关键发现，后续问题引用这些记录
• 在生成子代理前汇总关键发现，注入初始上下文
• 使用 /compact 减少上下文使用

TS 5.5: 设计人工审查工作流和置信度校准

核心知识：

• 聚合准确率（如 97%）可能掩盖特定文档类型或字段的低性能
• 分层随机抽样测量高置信度提取的错误率
• 字段级置信度分数通过标注验证集校准
• 在按文档类型和字段段验证一致性能前不要自动化

实操技能：

• 实现分层随机抽样进行持续错误率测量
• 按文档类型和字段分析准确率
• 模型输出字段级置信度分数，校准审查阈值
• 将低置信度或源矛盾的提取路由到人工审查

TS 5.6: 在多源合成中保留信息溯源和处理不确定性

核心知识：

• 摘要步骤中源归属丢失（压缩时丢失 claim-source 映射）
• 结构化 claim-source 映射是合成代理必须保留和合并的
• 冲突统计数据：标注冲突 + 源归属，而非随意选择一个值
• 时间数据：要求在结构化输出中包含发布/收集日期

实操技能：

• 要求子代理输出结构化 claim-source 映射（源 URL、文档名、相关摘录）
• 报告中区分确立的发现和有争议的发现
• 保留原始源表述和方法论上下文
• 不同内容类型用适当形式呈现（财务数据 → 表格，新闻 → 散文）

Step 2: 实操练习

练习：构建带错误传播的协调器

步骤：

1. 创建一个协调器 + 两个子代理
2. 模拟子代理超时场景
3. 验证协调器能获取结构化错误上下文（失败类型、已尝试的查询、部分结果）
4. 验证协调器能用部分结果继续处理
5. 用相互冲突的信息源测试，验证输出标注冲突而非随意选择

Step 3: 知识检查

出 3 道模拟题：

• 客户要求人工代理时应该怎么做？（答案：立即升级，不要先尝试解决）
• 子代理超时后最佳错误传播方式？（答案：返回结构化错误上下文含部分结果）
• 渐进式摘要丢失交易数据怎么修复？（答案：持久化"案例事实"块）

导航

• 上一领域：/cca-domain4（提示工程与结构化输出）
• 模拟测验：/cca-quiz
• 返回总览：/cca