Agent Lightning v1.0 开源：面向真实 Agent Harness 的轻量级强化学习框架

近年来，AI Agent 正从单一的模型逐渐演化为由模型、工具和执行环境共同组成的复杂系统。Agent 的能力不仅取决于底层模型，更依赖于其运行框架（Agent Harness）的设计。然而，当研究者尝试通过强化学习（RL）进一步提升 Agent 能力时，却发现传统 RL 系统往往要求开发者将 Agent 重新实现到训练框架内部。这种做法不仅带来高昂的工程成本，更导致训练环境与真实部署环境之间出现难以弥合的鸿沟。

四大核心挑战与解决方案

为了解决这一问题，微软亚洲研究院提出了 Harnessed Agentic RL 训练范式，并开源了全面重构的 Agent Lightning v1.0。这一框架的核心设计理念简洁而有力：在 Agent 部署时使用什么 Harness，训练时就直接让这个 Harness 参与强化学习。通过这种「所见即所得」的训练方式，Agent 在训练过程中能够完整保留工具调用、上下文管理、控制流以及执行环境等关键特性，从而真正弥合训练与部署之间的差距。

极简架构：3500 行代码构建完整控制平面

与传统 Agentic RL 不同，Harnessed Agentic RL 将环境交互循环交由 Agent Harness 而非训练框架负责。训练系统只能观察一系列大模型的请求与响应对，因此一个 rollout 可能会被拆成动态数量的训练样本。这带来了四个关键挑战：一是上下文重新分词与样本合并问题，即 Harness 以文本形式维护上下文，但 RL 训练依赖真实采样的 token IDs，重新分词后相邻调用并不总能安全合并；二是优势值计算问题，直接在样本层级计算基线和优势值会使产生更多样本的 rollout 被重复计入；三是损失归一化问题，按样本数量平均损失会导致产生更多样本的 rollout 获得更大的优化权重；四是训练资源调度问题，每个 rollout 最终会产生多少样本、每个样本有多长，只有 Harness 执行完成后才能确定。Agent Lightning v1.0 针对这些问题进行了系统化设计，将 rollout 层级作为重要的统计和优化单位。

性能验证：6000 条样本实现 14.6 个百分点提升

在系统设计上，Agent Lightning v1.0 将简单性作为第一原则，整个框架仅约 3500 行代码。核心由三个组件构成：API Gateway 负责保存 rollout、模型和事件，并提供兼容 OpenAI 的大模型代理服务，Agent Harness 的每次模型调用都会自动关联到对应的 rollout 并记录训练所需的提示词、回复和对数概率；Rollout Controller 负责启动和管理 Agent 执行，既支持本地进程，也可以直接将 Agent 作为标准 Kubernetes 任务运行，从而将 Agent 执行与 RL 训练器完全解耦；Customized Trainer 基于 VERL 实现，负责创建 rollout、收集样本，并通过样本适配器构造最终的 RL 训练样本。对于已有 Agent Harness 的团队，通常只需要将大模型的接口地址指向 Agent Lightning 的 Proxy，就可以快速接入 RL 训练。

在资源调度方面，Agent Lightning v1.0 提出了 Collocated Async RL（共位置异步强化学习），让 rollout 与模型更新共享同一组 GPU，解决了同步 RL 等待最慢 Agent 造成的 GPU 空闲问题，同时避免了完全异步 RL 需要分别维护两套 GPU 池的资源开销。实验表明，该方法相比同步 RL 获得了约 2 倍的端到端加速。此外，框架原生支持 Kubernetes，Agent 可以直接作为标准 Kubernetes 任务运行，无需依赖 Modal Sandbox、E2B 等商业沙盒服务，既降低了大规模 rollout 的成本，也让整个训练流程保持完全开源、可控且易于复现。

如有侵权，请联系删除。