Google开源ML Drift：端侧AI推理引擎如何破解GPU碎片化困局

智能手机、PC与工业设备正大规模运行AI模型，但开发者部署同一模型时，却要反复应对驱动适配、图形接口兼容与内存优化的挑战。端侧AI的核心矛盾已从“算力有无”转向“能否高效稳定地用好不同设备的算力”。2026年10月，Google AI Edge团队正式开源ML Drift，这是一套面向端侧AI与机器学习推理的GPU计算引擎，采用Apache 2.0许可证许可。它既是LiteRT新一代GPU加速能力的核心组件，也可作为独立C++库集成到其他推理系统中。值得关注的是，Google此次并非只是发布又一个推理框架，而是试图将分散在多种GPU API下的推理能力收敛为更统一的工程基础。

GPU碎片化：端侧AI的底层困局

过去的TensorFlow Lite GPU Delegate主要面向移动端图像分类与目标检测模型，而今天端侧负载已扩展到实时视频特效、深度估计、多模态理解与生成式AI。模型复杂度与内存压力持续攀升，端侧设备的GPU类型却依然高度分散。Android、iOS、浏览器与桌面系统分别依赖OpenCL、OpenGL ES、Metal、WebGPU等计算接口，同一模型在某台设备上能运行，不代表它能在另一类GPU上获得同等性能表现。软件团队不仅要维护模型本身，还需持续维护多个后端的计算实现，这种碎片化严重拖累了端侧AI的规模化落地效率。ML Drift正是针对这一基础设施层问题：将计算图、算子和内存管理抽象为统一的表示，再由具体GPU后端处理设备差异，目前支持OpenCL、OpenGL ES 3.1+、Metal与WebGPU。

张量虚拟化与统一计算语言的技术革新

ML Drift在架构设计上引入了两项关键改进。其一是张量虚拟化机制，将逻辑张量与底层纹理、缓冲区等物理存储解耦，利用动态生成的计算内核完成地址与坐标映射，使新模型的算子无需为每种GPU接口重复实现，大幅降低跨平台移植成本。其二是统一计算语言UCL，为编写计算内核提供跨API抽象，再针对OpenCL、Metal、WebGPU等后端生成适配代码。此外，ML Drift新增五维张量支持，使三维卷积、体数据与时空相关模型不必依赖额外的数据布局变通，为视频理解与具身智能研究提供了更完整的基础能力。

从产品验证到基准测试：真实效果如何

Google已在旗下多个产品中完成ML Drift的产品级验证。YouTube Shorts在部分分割特效中迁移后平均帧延迟最高降低40%；Google Photos的计算摄影流程相比旧GPU Delegate最多缩短约2秒；Adobe Lightroom与Photoshop的移动端AI功能提速最高30%，Snap报告的相关特效模型延迟改善约30%。这些数据来自不同产品、设备与任务的混合场景，不能简单叠加，但足以证明统一底层引擎已能服务大规模端侧应用。在桌面端基准测试中，使用Intel Core Ultra 7 255H（Panther Lake）平台，针对4-bit Gemma 4 12B模型，ML Drift的Prefill吞吐达到491 tok/s，Decode为12.2 tok/s，对照llama.cpp（Vulkan）分别为280 tok/s与9.73 tok/s；内存占用方面ML Drift为7.89GB，llama.cpp为8.50GB。需要注意的是，这些结果受测试环境、模型版本、量化方式与执行参数影响，且Google的首要工程方向仍聚焦移动与端侧设备。

开源对端侧AI生态的深远影响

ML Drift的开源将带来三重变化。第一，模型开发与部署之间的距离有望缩短，底层GPU差异由框架吸收后，应用开发者可将更多精力投入模型与产品本身，GPU工程师仍可通过自定义算子深入优化。第二，手机、浏览器与桌面端的推理路径正在收敛，ML Drift利用Dawn将WebGPU实现延伸到Windows、Linux等原生环境，同一套计算代码有机会服务更广泛的设备。第三，端侧大模型正在形成区别于数据中心的专属技术路线，内存占用、交互延迟、能耗与隐私保护的优先级更高，Google正将这些需求纳入GPU推理引擎的基础设计。对于依赖TensorFlow Lite的团队，这也是明确的生态迁移信号——旧版TFLite GPU Delegate将不再获得新功能更新。

当端侧设备同时运行视觉、语音、生成式与智能体模型时，单独比较GPU理论算力已不足以回答应用能否稳定高效落地。软件栈的跨平台能力、扩展性与多计算单元协同效率正变得愈发关键。ML Drift的真正意义在于将端侧GPU推理从繁琐的后端适配推向可复用、可优化的统一基础设施，虽未解决所有问题，但清晰展示了Google对下一代端侧推理软件栈的判断，值得持续跟踪研究。