让Skill自己训练自己：8阶段Loop、3层评测、5维AND门控，从此实现自进化

在AI应用快速发展的今天，Skill（技能单元）已成为大模型落地企业场景的重要载体。然而，传统Skill开发模式存在一个根本性问题：我们始终在以“授人以鱼”的方式——反复修改提示词、手工调试规则——来“教导”Skill完成任务。这种方式不仅效率低下，更难以覆盖复杂的边界场景。

为什么Skill需要被“训练”而非“教导”

本文提出一种全新的思路：让Skill像神经网络参数一样被训练。作者构建了一套完整的自训练框架Skill-Evolver，其核心是8阶段迭代循环（Loop）、三层评测体系（3-Layer Evaluation）和5维AND门控机制。这套框架借鉴了深度学习的思想：将Skill的优化过程视为一个不断逼近最优解的迭代过程，通过持续的自评、自改、自验证，实现真正的自进化。

核心框架：8阶段迭代循环

Skill最容易被误解的一点，是它看起来像简单的提示词（Prompt），实际上更像一个复杂的控制系统（harness）。一个能跑的Skill不难写，但让它稳定运行在真实业务场景中却极具挑战。触发边界如何定义？安全规则如何生效？多References之间的一致性如何保证？这些问题叠加在一起，早已超越了“写一段提示词”的范畴，而是在搭建一套完整的控制系统。 传统做法是不断添加规则：MUST不能这样，NEVER不能那样。但规则越多，模型行为越不可预测。更痛苦的是，即使Skill终于不崩溃了，它的行为也未必真正“Match”你的数据分布——它通过了语法检查，却无法在你的业务场景中给出正确答案。这就像训练模型时代码能编译通过，但Loss始终无法收敛。

三层评测体系

Skill-Evolver的8阶段Loop设计如下： - Phase 0（Setup）：一次性初始化，创建工作空间、生成评测计划、建立基线 - Phase 1（Review）：读取历史记忆，提取5个关键信号——成功模式、失败模式、脆弱case、卡顿信号 - Phase 2（Ideate）：基于trace证据进行反事实诊断，提出原子化改动 - Phase 3（Modify）：执行单一改动（不超过5个文件） - Phase 4（Commit）：Git提交，保留审计轨迹 - Phase 5（Verify）：三层评测流水线 - Phase 6（Gate）：5维AND门控决策 - Phase 7（Log）：记录实验数据 - Phase 8（Loop）：决定继续、升层或停止 整个循环的核心思想是：每一轮改动都必须有trace证据支撑，不是“感觉可以优化”而是“Case X挂了，因为Y原因，所以改Z”。

5维AND门控机制

三层评测体系确保了评估的递进性和成本控制： L1快速门卫（秒级）：纯程序检查，验证SKILL.md结构完整性、格式规范性、安全规则扫描（检测危险删除命令、硬编码密钥等11条规则）。2条critical规则不过则直接阻断。 L2 Dev Eval（分钟级）：全量dev集测试，8种assertion（contains、regex、script_check、fact_coverage等），程序能判的程序判，需要语义理解的让LLM做YES/NO分类。 L3 Strict Eval（约10分钟，条件触发）：仅在特定条件下运行，使用holdout集（优化器从未见过的数据）防止过拟合，并进行regression测试确保老case没坏。 5维AND门控则要求每一轮改动同时通过五个维度的检验：性能提升、token消耗可控、安全合规、无回归问题、代码质量。任何一项不满足即git revert，拒绝“用高分维度弥补低分维度”的加权逻辑。

如有侵权，请联系删除。