决策型AI Jev深度解析：结构化决策如何重构AI应用架构

当大多数AI产品仍在比拼生成文字的长度和流畅度时，一类新型AI模型正在悄然崛起——它们不写文章、不讲故事，而是专注于完成软件系统中最频繁、最耗资源的判断任务。TypeSafe AI推出的决策型AI模型Jev，正是这一赛道的代表性作品。它由曾参与ChatGPT研发的团队耗时两年打造，主打“类型约束决策”和“校准置信度”，试图从根本上改变AI在生产系统中的运作方式。响应速度快至70毫秒，成本仅为传统模型的百分之一，Jev的出现让过去因经济账算不过来而放弃的自动化场景，重新具备了可行性。

传统大模型的结构化决策困境

在真实业务系统中，AI的价值往往不在于生成一段漂亮的回复，而在于完成一个可以被代码直接使用的判断：这条工单应该分配给哪个部门？这个用户的意图是查询余额还是申请挂失？这次异常是否需要人工介入？然而，传统大语言模型返回的是一段自然语言，程序必须再写一套解析程序才能把它变成可用的决策。提示词中反复强调“只能返回有效JSON”，解析结果后验证字段，再处理各种意外：模型把JSON包进Markdown代码块、枚举值大小写不匹配、字段缺失或类型错误。这套“把决定重新从语言中提取出来”的程序，在许多生产级AI系统中占据了相当比例的代码量，也是几乎所有不稳定问题的根源。

类型约束与三种决策问题

Jev的解决思路极为直接：不再让模型生成自由文本再由程序解析，而是让模型在开发者预先定义的答案空间中直接作出选择。它只支持三种问题类型：Choice从最多255个候选项中选出一个；Score按照2到10个有序等级进行评分，并能够返回位于等级之间的精确位置；Noul则返回一个“是或否”判断为真的概率。开发者向Jev提交程序状态和一组类型化问题，模型会在一次并行计算中完成所有判断并返回结果。由于答案范围在提问前就已明确，Jev永远不会返回格式错误的值，从系统结构层面消除了解析失败的隐患。

级联架构与置信度路由实践

真正让Jev发挥价值的，不是替代大模型，而是与大模型形成互补的级联架构。在这套架构中，Jev作为快速、低价且带有校准置信度的第一道入口，负责判断请求接下来应该去哪里。多数请求会被Jev归入能够由普通代码处理的类型，直接进入业务逻辑；一部分请求被转发给专用模型，同时只加载该任务真正需要的上下文；只有剩下那些真正困难、成本也确实很高的少数问题，才会进入前沿模型或转交人工。以处理百万条客服工单为例，传统方式全部交给前沿模型需要约三万美元，而采用级联方案每条工单先支付约0.04美分让Jev完成判断，只有两成复杂请求进入大模型，总成本降至约六千五百美元。更重要的是，其中八十万条工单可以在不到半秒内获得处理结果，而不是等待十秒，响应延迟的改善对用户体验影响远超成本数字本身。

开发者实践与价值验证

Jev发布后一周内，开发者社区已涌现出多个基于它的实验项目。有人在七秒内用不到一美分完成了从苏黎世到伦敦的航班查询，成本中已包含文本生成和网页加载；有人为超过一千篇AI研究论文完成了主题分类，总成本仅为八美分；还有人构建了每步成本约两美分的电脑操作智能体，相比直接让大模型读取屏幕的方案，成本降低超过一百倍且延迟更稳定。这些案例的共同特点是：循环逻辑、安全机制和数学计算继续由普通代码控制，只把位于中间、传统代码难以清晰表达的狭窄判断交给Jev。开发者从中获得的关键经验是：必须先认真定义“状态”究竟是什么，如果状态定义混乱，再快的决策模型也无法给出可靠结果。

Jev真正值得关注的，不是它能否替代大模型，而是它让软件第一次能够以足够低的价格和足够快的速度，把大量细小判断交给专门的AI模型。未来最有效的AI系统，可能并不是由一个无所不能的大模型独自支撑，而是普通代码、决策型AI与大语言模型各司其职的组合：普通代码掌握循环与安全边界，决策型AI完成快速范围明确的判断，前沿大模型处理复杂推理与自由生成。选对每一项工作的承担者，才是AI架构设计的本质。