万级实时推理的商品领域Agent实践思考和总结

随着大语言模型的快速发展，如何将AI能力真正落地到复杂的业务场景中，成为工程团队面临的核心挑战。在商品领域，每天需要处理数万级别的商品变更，高峰期数据行变更峰值甚至达到数十万级别。传统的离线批处理模式已难以满足业务对时效性的要求，而简单地将大模型能力拼接进来，又难以应对多步骤决策、外部系统交互等复杂场景。本文将分享商品域在构建事件驱动的Function-Centric Agent架构过程中的实践与思考。

为什么选择Agent架构

在2025年初的大模型工程实践中，业界已探索出多种将大模型能力落地的路径。然而，面对商品域这类高复杂度、强标准化、需持续演进的业务系统，这些范式均存在能力碎片化与工程不可持续的瓶颈。仅靠RAG无法自动完成跨系统的多跳流程，仅靠微调无法适应每日新增的品类规则或平台政策变化。而Agent正是在这些基础能力之上构建的更高阶抽象，它内嵌了Function Calling实现与现有系统的安全集成，天然融合RAG机制获取上下文相关事实，同时具备目标驱动的动态推理与回溯能力。2024-2025年主流大模型已原生支持ReAct、Plan-and-Execute等推理框架，开源生态也提供了成熟的Agent编排与多智能体协作基础设施，这使得选择Agent作为AI化主路径成为可能。

商品Agent架构设计

商品Agent采用两层架构设计：上层为面向业务场景的workflow编排层，下层为统一的能力供给层，两层之间通过抽象的AIFunction接口交互。底层通过AIFunction对各类工具和领域知识进行标准化封装，向上提供结构清晰、语义明确的函数接口，支撑上层灵活构建智能流程。在知识库层面，系统整合了显性事实、关联情景和隐性经验三类商品知识库：显性知识围绕类目-属性元信息构建，整合商品主数据、图片、外部素材等多源数据；关联情景知识将商品与商品、需求场景连接；隐性经验知识则来源于大量用户使用经验和专家评测。基于MySQL和TisPlus的异构存储策略，既能支撑高频低延迟的在线知识调用，又能满足复杂语义理解与大规模知识分析需求。

知识库体系构建

传统架构中在线与离线采用完全独立的技术栈，不仅带来高昂的重复开发与维护成本，更难以保证数据处理逻辑的一致性。新架构通过Spring AI Agent将业务流程封装为Workflow，向上屏蔽触发源差异（如定时调度vs实时事件），向下屏蔽计算资源差异，在代码、部署、推理资源和存储层面实现真正的统一。在实时推理层面，系统通过商品事务维度将SKU变更进行聚合与转发，将秒级别的事务量级降低一个数量级，同时消除多行变更间的JOIN计算，获得极好的性能和低成本表现。这一设计为商品Agent实时推理奠定了坚实基础。

总结与展望

应用层面，商品Agent已在商品属性、卖点等多个核心场景完成落地，覆盖亿级在线商品，显著提升了商品信息的完整性、准确率与丰富性。在研发效能方面，新业务需求仅需一周/人时间即可完成全流程开发与评测，大幅压缩了从需求到前台实验的交付周期。在评测体系方面，基于Agent应用构建了可量化、可归因、可复现的自动化评测系统，覆盖属性召回数量、语义准确性、完整性、一致性等多个维度，形成执行-评估-优化的闭环。

如有侵权，请联系删除。