模型蒸馏大师

模型蒸馏大师：将大模型能力迁移到小模型的完整工作流。 支持自适应蒸馏、课程学习、能力感知、对抗训练、多维度评估。 触发词：「蒸馏模型」「把XX模型蒸馏到YY」「压缩模型」「做小模型」「教师模型分析」。 默认学生模型：gemma-3-4b-it（4B参数，适合边缘部署）。

要不要安装/运行这个 Skill 前请考虑： - 行为摘要：技能确实实现一个端到端的蒸馏流水线（数据合成、教师调用、训练、评估），并包含可直接运行的脚本，但 SKILL.md 会指示代理在“未确认”情况下执行 pip install、git clone、安装 git-lfs 并下载/加载大型模型。加载远程模型时多数脚本使用 trust_remote_code=True，这会执行远程仓库里的代码。 - 主要风险： - 自动化执行与可达外部 API：SKILL.md 指示自动调用 GPT-4/Claude/HF/ModelScope，但未声明需提供哪些 API key；如果代理有凭据或用户误提供，可能造成凭据滥用或意外计费/数据泄露。 - trust_remote_code：从模型仓库加载时允许远端代码执行，会在你的环境中运行不受信任的代码。 - 自动包管理/系统安装：脚本尝试通过 apt-get/brew 安装软件（如 git-lfs），可能需要提升权限并修改系统状态。 - 文档与元数据不一致（homepage/source 信息矛盾）以及 SKILL.md 中出现 unicode 控制字符提示可能存在混淆或隐藏内容。 - 推荐步骤（安全做法）： 1. 不要让代理自动“立即执行”这些步骤。先人工阅读 SKILL.md 与关键脚本（download_model.sh、setup_env.sh、distill_train.py、generate_cot_data.py）。特别注意 trust_remote_code=True 的调用点。 2. 如果想尝试，在隔离环境（干净的虚拟机 / 容器）中运行，先不要联网或不要提供任何云 API key。 3. 手动安装依赖并审计安装脚本，避免脚本自动运行 apt-get/install。 4. 为调用教师云API准备时，仅在你完全信任且理解成本/隐私后，手动提供最小作用域凭据，并监控外发请求。 5. 如果你不愿意承担 remote-code 风险，可将模型改为本地受信任仓库、并把 trust_remote_code=True 改为 False 或移除。 6. 要求作者或发布者提供来源证明（GitHub 仓库、发布者信息、签名）并核实 skill.yaml 的 homepage 链接是否真实与一致。 总之：技能功能与描述大体一致，但存在自动化执行未获准许、凭据未声明、以及远程代码信任等问题。若要使用，请先人工审计并在受控环境内运行。

Type: OpenClaw Skill Name: model-distill-master Version: 1.0.0 The model-distill-master skill bundle is a comprehensive and well-documented toolkit for performing LLM distillation, specifically targeting the gemma-3-4b-it model. It includes a full suite of scripts for environment setup (setup_env.sh), model acquisition (download_model.sh), data synthesis (generate_cot_data.py), and an advanced training pipeline (distill_train.py) featuring adaptive temperature and alpha scheduling. The bundle also incorporates a LangGraph-based workflow (distill_graph.py) for stateful execution and human-in-the-loop checkpoints. All high-risk operations, such as package installations and remote model fetching from ModelScope or HuggingFace, are standard requirements for machine learning workflows and are transparently implemented according to the stated purpose.