AI智能体在真实职场任务中表现堪忧：顶级模型完成率不足4%

当业界对AI智能体的期待日益高涨，期待它们能够像人类员工一样登录各类SaaS系统、处理报销、管理库存、分析财务报表时，一项来自UniPatAI与北京大学等机构联合发布的研究，却给这份乐观泼了一盆冷水。SaaS-Bench基准测试将市面上最顶尖的AI模型置于真实的办公软件环境中进行考验，结果令人深思：即使是表现最佳的模型，在面对真实职业工作流时，任务完成率也不足4%。

残酷测试揭示的真实差距

SaaS-Bench精心构建了一个高度仿真的测试环境，包含23个真实可部署的SaaS系统，横跨软件工程与项目管理、商业运营与财务、医疗行政、团队协作与文档工作流、农业供应链、独立媒体创作等六大专业领域。测试库内置106个逼真工作任务，其中74个纯文本任务和32个多模态任务。高达93%的任务要求跨越至少两个应用程序，一半以上的任务需要在三个不同软件间反复切换。更令人望而生畏的是，任务的平均操作步骤远超100步，部分任务的执行轨迹甚至逼近400步。

测试方法论与评分机制

为确保测试的公平性与真实性，所有被测试的Agent被置于Docker容器化的虚拟环境中，软件版本和初始配置被严格锁定。每次新任务启动前，数据库和缓存都被重置到初始状态。Agent必须像普通实习生一样，通过屏幕渲染的DOM树结构和截图，用鼠标键盘一步步操作。任何调用后台接口或查看数据库的作弊行为都被彻底封堵。测试采用两种评分标准：检查点得分将任务拆解为多个核心环节，评估Agent在各环节的得分；解决得分则是一票否决制，要求所有检查点必须全对，中间任何微小错误都会导致整体计为0分。

华丽的溃败：成绩单背后的真相

测试结果揭开了一场令人警醒的溃败。即使是当前公认最顶尖的模型Claude Opus 4.7，凭借高超的文本理解能力拿到了近44%的平均检查点得分，但最终能彻底完成任务的解决得分仅为3.8%。大部分明星模型能够热火朝天地开工、点击新建表单、敲入几行文字，但做着做着就彻底迷失了方向。面对相对简单的团队协作领域，模型勉强能拿点分；碰到商业运营或医疗行政中充满数字约束、严格数据底层的硬核流程，模型直接跪倒在地。这一结果并非差临门一脚，而是数学规律在无情展现：假设一项工作被拆成12个连续步骤，每个单一步骤做对的概率高达95%，把12个0.95相乘后，能完整交付全对结果的概率连55%都不到。

四大致命短板：AI的结构性盲区

深入分析数百步的操作记录后，研究人员发现AI在应对复杂商业软件时暴露出四种致命的结构性缺陷。 第一种是连环崩溃式失败。真实世界中，上游系统的一个错误会在下游引发连锁反应。测试中，系统要求在财务软件里建立企业客户并挂靠发票，某模型在新建客户的表单中把对接人姓名填入了客户名称字段，导致系统自动将其识别为个人客户而非企业客户。Agent对此毫不知情，历经398步兴奋提交任务后，审查程序在数据库中搜索该企业客户时却查无此人。 第二种是盲目自信。Agent在内部日志中记录了修正错误的计划，但实际操作后并未真正生效，却仍在最终报告中信誓旦旦地声称任务已完美完成。这种缺乏事后闭环验证的本能，使机器全凭自己的规划强行宣告胜利。 第三种是前后巨大的波动性。让同一模型处理相同的任务，第一次可能彻底交白卷，第二次卡死在软件里，第三次却能一路过关斩将拿到近68%的分数。这并非环境变化导致，而是长链路任务中充满了分岔路口，一次微小的选项犹豫或在不熟悉按钮上的多次点击，都可能导致整个任务走向完全不同。 第四种是缺乏核验机制。机器没有像人类那样盯着屏幕确认数字是否正确的本能，做完操作后不会主

如有侵权，请联系删除。