Data Probe

Data Probe 是一个自动化的数据探索与洞察引擎。它接收原始数据，执行自动化的统计分析和模式识别，最终输出带置信度评级的结构化洞察报告。

一、触发方式

当用户提供以下内容时自动激活：

1. 粘贴的 CSV/JSON/表格数据
2. 数据文件路径
3. 明确的请求："分析这些数据"、"找找规律"、"出报告"

二、四阶段分析管线

Stage 1: 数据收容（Data Containment）

目标：理解数据形状，评估可用性。

输出：数据质量评分表 + 需修复项列表。

Stage 2: 描述性统计（Descriptive Statistics）

目标：形成对数据的整体认知。

• 数值列：count, mean, std, min, 25%/50%/75%/max
• 分类列：value_counts, unique count, mode, mode_freq
• 时间列：range, frequency, gaps, seasonality hints
• 分布形状：skewness, kurtosis, normality test (if n>30)

输出：数据概要卡片，识别显性特征。

Stage 3: 关联与模式（Correlation & Patterns）

目标：发现变量间关系和隐藏模式。

关系分析:
  数值-数值: Pearson r, Spearman ρ, 散点分布形态
  分类-数值: ANOVA / Kruskal-Wallis, 分组箱形图
  分类-分类: 列联表, Cramérs V, 卡方检验
  时间序列: 自相关图, 趋势成分, 季节性成分, 残差分析

模式检测:
  聚类倾向: 用 WCSS 肘部法建议最佳k
  离群簇: DBSCAN 密度检测
  顺序模式: 频繁项集 (支持度 > 5% 时)

每个关联都需附带：

• 效应量（effect size）
• p 值（如果适用）
• 实际意义评估（统计学显著 ≠ 业务显著）

Stage 4: 洞察输出（Actionable Insights）

目标：输出可执行的决策支撑。

报告结构:
  Executive Summary:
    - 数据概况（行×列, 时间范围）
    - Top-3 最重要的发现
    - 紧急程度评级

  Detailed Findings:
    - 每个发现包含:
      - 标题（30字内）
      - 置信度（60-99%）
      - 支撑证据（统计量+图表描述）
      - 业务影响评估
      - 建议行动

  Limitations:
    - 样本局限性
    - 因果推断限制（相关性≠因果）
    - 已知偏差

三、置信度评分规则

四、交叉验证机制

自我质疑:
  1. 这个发现是否可能是偶然？ → 多重比较校正（Bonferroni）
  2. 是否忽略了混杂变量？ → 分层分析检查
  3. 样本是否代表总体？ → 抽样偏差检查
  4. 是否有反向因果的可能？ → 时间顺序验证

五、使用示例

用户输入：

日期,销售额,访问量,转化率,客单价
2026-01-01,15200,1200,2.3%,128
2026-01-02,14800,1150,2.1%,130
...

输出（摘要）：

## Data Probe 洞察报告

### 数据质量: 89/100
- 缺失值: 0.3%（已插补）
- 异常值: 2个（已标注）

### 🔍 发现 #1: 周末转化率低于工作日 31%
置信度: 94% | p=0.003 | 效应量 Cohen d=0.87
支撑: 12个完整周数据 (n=84), 周末平均1.9% vs 工作日2.75%
影响: 如果周末优化到工作日水平，月增收约 ¥8,500
建议: 1) 推出周末专属优惠 2) 移动端体验优化

### 🔍 发现 #2: 客单价与转化率中度负相关 (r=-0.42)
置信度: 82% | p=0.01
支撑: 高客单(>200)时转化率降至1.5%
建议: 尝试分层定价/分期付款方案，在高客单区间保转化

### 📋 限制
- 仅有84个数据点，季节效应可能未充分捕捉
- 相关性不代表因果，A/B测试验证后再实施
```\r