大数据应用分析诊断工具

本技能提供 Linux 系统上开源大数据应用的分析诊断能力，包括服务状态确认、参数配置获取和调优、任务报错分析并提供优化建议。

支持的服务

配置文件路径说明: 优先查找 /etc/taihao-apps/\x3Cservice>-conf/，如果不存在则回退到 /etc/ecm/\x3Cservice>-conf/

使用方法

1. 检查集群整体状态

用户输入: "帮我分析下这个集群的服务整体情况"

执行流程:

1. 调用 check_service_status.py all 获取所有服务状态
2. 汇总 RUNNING/NOT_RUNNING 状态
3. 输出服务健康报告

python3 {baseDir}/scripts/check_service_status.py all

2. 检查单个服务状态

用户输入: "YARN 服务正常吗？" / "检查 HDFS 状态"

python3 {baseDir}/scripts/check_service_status.py \x3Cservice_name>

3. 分析报错日志

用户输入:

• "帮我分析下这个报错：[错误日志内容]"
• "Hive 查询失败了，看看日志"

执行流程:

1. 识别报错所属服务
2. 调用 analyze_logs.py \x3Cservice> 分析日志
3. 匹配错误模式并提供修复建议

python3 {baseDir}/scripts/analyze_logs.py \x3Cservice_name> [lines]

4. 获取配置参数

用户输入:

• "查看 Spark 的配置参数"
• "YARN 的内存配置是多少"

python3 {baseDir}/scripts/check_config.py \x3Cservice_name>

5. 获取调优建议

用户输入:

• "如何优化 Hive 查询性能"
• "Kafka 配置怎么调优"

执行流程:

1. 调用 check_config.py 获取当前配置
2. 根据 KEY_PARAMS 和调优规则生成建议
3. 输出优化建议

脚本说明

check_service_status.py

检查服务进程、端口监听、systemd 服务状态。

输出示例:

{
  "name": "yarn",
  "status": "RUNNING",
  "processes": [
    {"name": "ResourceManager", "running": true, "details": "..."},
    {"name": "NodeManager", "running": true, "details": "..."}
  ],
  "ports": [
    {"port": 8088, "listening": true, "details": "..."}
  ],
  "systemd": "active",
  "version": "Hadoop 3.3.6"
}

analyze_logs.py

分析服务日志，识别错误模式并提供修复建议。

识别的错误类型:

• 内存问题 (OOM, GC overhead)
• 连接问题 (Connection refused/timeout)
• 权限问题 (Permission denied)
• 磁盘问题 (No space left)
• 超时问题 (TimeoutException)
• 服务特定错误 (DataNode unavailable, Container killed 等)

输出示例:

{
  "service": "hive",
  "status": "ANALYZED",
  "error_summary": {
    "OOM - 内存不足": 5,
    "连接超时": 2
  },
  "suggestions": {
    "OOM - 内存不足": ["增加 JVM 堆内存", "检查内存泄漏", ...]
  },
  "recommendations": ["优先处理内存问题 - 检查并调整 JVM 堆内存配置"]
}

check_config.py

获取服务配置参数并提供调优建议。

输出示例:

{
  "service": "spark",
  "config_file": "/etc/ecm/spark-conf/spark-env.sh",
  "config_exists": true,
  "params": {
    "spark.executor.memory": "4g",
    "spark.sql.shuffle.partitions": "200"
  },
  "suggestions": [
    {
      "param": "spark.executor.memory",
      "current": "4g",
      "suggestion": "根据数据量调整，一般 4g-8g 起步",
      "reason": "Executor 内存影响任务处理能力"
    }
  ]
}

工作流程

场景 1: 集群健康检查

用户：帮我分析下这个集群的服务整体情况
  ↓
1. 执行 check_service_status.py all
  ↓
2. 汇总各服务状态 (RUNNING/NOT_RUNNING)
  ↓
3. 识别异常服务
  ↓
4. 对异常服务执行 analyze_logs.py
  ↓
5. 输出健康报告 + 问题诊断 + 修复建议

场景 2: 报错分析

用户：[粘贴报错日志]
  ↓
1. 识别报错所属服务 (关键词匹配)
  ↓
2. 执行 analyze_logs.py \x3Cservice>
  ↓
3. 匹配错误模式
  ↓
4. 从 FIX_SUGGESTIONS 获取修复建议
  ↓
5. 输出错误分析 + 解决方案

场景 3: 性能调优

用户：如何优化 Spark 查询性能
  ↓
1. 执行 check_config.py spark
  ↓
2. 获取当前关键配置参数
  ↓
3. 根据调优规则生成建议
  ↓
4. 输出配置现状 + 优化建议 + 预期效果

日志路径参考

配置文件路径

• 优先: /etc/taihao-apps/\x3Cservice>-conf/
• 回退: /etc/ecm/\x3Cservice>-conf/ (如果 taihao-apps 不存在)

日志路径

• Hadoop 生态: /var/log/hadoop-\x3Cservice>/
• Hive: /var/log/hive/
• Spark: /var/log/spark/
• 其他服务: 详见 references/services.md

常见错误及解决方案

YARN

HDFS

Spark

Hive

Kafka

外部文档

• 阿里云 EMR 文档
• 阿里云 EMR 日志路径
• Apache Hadoop 官方文档
• Apache Spark 官方文档

注意事项

1. 权限要求: 需要 SSH 访问目标服务器，建议有 sudo 权限
2. 日志轮转: 旧日志可能被压缩，需要 zcat/gunzip 查看
3. 配置变更: 修改配置后需要重启服务才能生效
4. 生产环境: 调优前建议在测试环境验证

大数据应用分析诊断工具 - 让集群运维更高效 🔍