科学图表分析 — 完整流水线

PDF提取 → 视觉AI分析 → 科学理解 → 逆向工程，一站式从论文到结构化知识。

四阶段流水线

 PDF论文
    │
    ├─ Stage 1: PyMuPDF 提取
    │   ├─ 所有嵌入图片 (.jpeg/.png)
    │   ├─ 全文文本 (captions + body)
    │   └─ 图片元数据 (尺寸、页码)
    │
    ├─ Stage 2: Kimi K2.6 视觉分析  ★核心★
    │   ├─ base64 编码图片
    │   ├─ OpenAI SDK 调用 api.moonshot.cn
    │   └─ 提取图表中所有可见数值/标签/趋势
    │
    ├─ Stage 3: 科学理解
    │   ├─ 图表类型识别（18种）
    │   ├─ 多模态推理（视觉+文本融合）
    │   └─ 保守置信度标注
    │
    └─ Stage 4: 逆向工程
        ├─ 软件推断（Prism/ggplot2/PyMOL...）
        └─ 流水线重建

Stage 1 — 图表提取

必需能力

• 解析科学PDF
• 检测所有图表
• 保留原始分辨率、颜色、轴标签、图例、比例尺、标注

子图检测

准确检测并拆分 a/b/c/d 等子图面板。

子图拆分要求：

• 保留面板标签
• 避免裁剪
• 保留上下文
• 保留嵌入标注
• 不移除共享图例

推理方式（组合使用，不单独依赖OCR）：

• 布局边界分析
• 空白区域分割
• OCR文字识别
• 面板标签检测
• 标题对齐检测
• 视觉分组

推荐工具

PyMuPDF 提取流水线（已验证）

import fitz, os

doc = fitz.open("paper.pdf")
outdir = "figures_output"
os.makedirs(outdir, exist_ok=True)

# 1. 提取所有嵌入图片
for pn in range(doc.page_count):
    for i, img in enumerate(doc[pn].get_images(full=True)):
        base = doc.extract_image(img[0])
        fname = f"{outdir}/page{pn+1:02d}_img{i:02d}_{base['width']}x{base['height']}.{base['ext']}"
        with open(fname, 'wb') as f:
            f.write(base['image'])

# 2. 提取全文（含嵌入caption文本块）
with open(f"{outdir}/full_text.txt", 'w') as f:
    for pn in range(doc.page_count):
        for block in doc[pn].get_text('blocks'):
            x0, y0, x1, y1, text = block[:5]
            if text.strip():
                f.write(f"[p{pn+1},{x0:.0f},{y0:.0f}] {text.strip()}\
")

# 3. 提取 Figure caption
import re
full_text = '\
'.join([doc[p].get_text() for p in range(doc.page_count)])
for m in re.finditer(r'(Figure\s+\d+[^.]+\.)', full_text):
    print(m.group(1))

Stage 2 — 科学理解

图表类型识别

多模态推理

组合：图像内容 + 图表标题 + 邻近段落 + 科学术语 + 面板引用 + 视觉结构

保守推理规则

• 绝不捏造不可读标签、基因名、分类单元、统计数据、方法、显著性、无依据的结论
• 不确定时明确标注不确定性 + 置信度等级
• 置信度：high / moderate / speculative

Stage 2B: Kimi K2.6 视觉 AI 分析 ★核心增强★

用多模态 AI 直接"看图说话"，提取纯文本无法获取的数值。

何时启用: 当前模型不支持 vision 时必须启用；需要精确数值(Kd/RMSD/TPM)时强烈推荐。

完整调用代码: 见 references/kimi-k2.6-vision-api.md

核心参数:
  model: "kimi-k2.6"
  base_url: "https://api.moonshot.cn/v1"
  auth: MOONSHOT_API_KEY 环境变量
  图片: base64 data URI
  思考: extra_body={"thinking": {"type": "disabled"}}

数据融合:

Kimi 视觉输出 (数值、标签、趋势)  +  PyMuPDF 文本 (caption、正文、methods)
                    ↓
          结构化报告 (Markdown表格 + JSON)

Stage 3 — 图表逆向工程

软件推断

流水线重建

• 归一化方法
• 聚类工作流
• 降维分析
• 差异表达分析
• 测序预处理
• 系统发育工作流
• 微生物分析流程
• 图像定量工作流
• 统计工作流
• 可视化工作流

高级推断（如可行）

• 测序平台
• 染色方法
• 实验模态
• R vs Python 生态
• 出版装配工作流
• 可能的代码生态

⚠️ 模型能力适配

Vision 不可用时的两条路径

路径B: 纯文本回退流水线

1. PyMuPDF 提取嵌入文本 → page.get_text('blocks')
2. 全文正则搜索 → re.findall(r'Figure\s+\d+[^.]*\.', full_text)
3. 正文上下文 → caption 前后 500 字符
4. 图片元数据推断 → 宽高比、页码位置、图片数量

失败处理

输出格式

支持两种输出格式：

格式A: JSON（机器可读，下游AI工作流）

{
  "figure_id": "Figure 3",
  "caption": "...",
  "overall_summary": "...",
  "subfigures": [...]
}

格式B: Markdown表格（人类可读，直接交付Boss）

## Figure X — 主题概括

| 属性 | 内容 |
|------|------|
| **Panel** | N个 (A–Z) |
| **类型** | xxx |
| **实验方法** | xxx |
| **关键发现** | xxx |

### 软件推断
| 推断 | 置信度 |
|------|--------|
| xxx | high/moderate |

### 逆推流水线
`step1 → step2 → ... → stepN`

选择规则: Boss 直接查看 → 格式B；下游自动化处理 → 格式A。

目标期刊覆盖

Nature / Cell / Science / bioRxiv / 密集多面板图 / 显微成像密集型 / 测序图表 / 微生物分析 / 单细胞 / 空间转录组

引用

这是小霉的 scientific-figure-analysis skill，整合了 PDF 提取 + Kimi K2.6 视觉 AI + 科学推理的完整流水线。

捆绑参考文件

• references/kimi-k2.6-vision-api.md — Kimi K2.6 视觉 API 完整调用模式（代码模板、参数、陷阱）
• references/busr-paper-case-study.md — BusR 论文完整案例（含视觉+文本双路径演示）