AI Coding的底层框架：一切优化都是在对抗熵增

AI Coding领域的新概念层出不穷：Context Engineering、RAG、Agent Memory、Harness Engineering、SDD……每隔一段时间就有新词汇出现，每个词背后都跟着一批工具和最佳实践。如果每次都从头学起，很容易陷入焦虑：不知道哪个值得投入，不知道哪个适合自己手头的场景，更不确定今天学的东西明天还算不算数。 本文尝试从AI大模型的本质出发，建立一个统一的思考框架。借助信息论的基本概念，我们可以更清晰地理解：哪些优化手段真的在对抗熵增，哪些只是在占用上下文窗口，哪些问题能靠工程手段改善，哪些本来就必须有人介入。

核心公式：覆盖层与填补层

在信息论中，熵用来衡量一个变量的不确定性。放到AI Coding的场景里，当用户说"写一个登录函数"时，这件事的熵其实很高——语言可能是Python、Go或JavaScript，认证方式可能是Session、JWT或OAuth，错误处理也可能有多种选择。目标越模糊，可能性空间越大，熵就越高。 条件熵H(Y|X)描述的是：已知X之后，Y仍然有多少不确定性。如果X是你给AI的上下文，Y是它要生成的代码，那么条件熵就是模型看完上下文后还需要自己猜的部分。你只说"写一个登录函数"，剩余不确定性很大；但如果你补充Python、FastAPI、JWT、参考现有UserService、错误格式沿用ApiError，模型能排除大量可能性，剩下要猜的东西就少很多。

为什么Prompt写得很细，AI还是会输出和预期相悖的结果？

这里可以引出一个重要的分解框架。目标代码的总体不确定性H(Y)，可以被分解为两个部分：一部分是上下文帮模型排除的不确定性（互信息I(X;Y)），另一部分是模型看完上下文后仍然需要靠自己猜测的部分（条件熵H(Y|X)）。 提升AI Coding质量，很多时候就是提高上下文和目标输出之间的互信息，或者减少模型必须猜的空间。用登录函数的例子来看：只说"写登录函数"，H(Y)很大；补充FastAPI、JWT、数据库模型、错误格式，互信息I(X;Y)变大；而token过期时间、错误文案、日志粒度这些没写清的部分，仍然落在条件熵H(Y|X)里——AI最容易出问题的地方，通常就在这一块。 但这里还有一个更关键的修正：模型填补剩余不确定性时，依赖的是训练先验分布P，而非业务真实分布Q。模型很自信，不等于模型说得对。当模型自信地调用userClient.getProfile()时，因为它符合通用代码习惯，但你的项目里真实存在的是profileService.fetchByUid()，还必须带上灰度参数。模型的输出在语言模式上顺畅，在当前业务里却是错的。这就是复杂历史业务难做的根本原因之一

为什么新业务容易，复杂历史业务却总是翻车？

人类意图是高维的。你说"这里做得优雅一点"，里面可能包含几十个隐含判断：不要影响现有接口、不要引入新依赖、不要改太多文件、保持团队风格、性能别退化、错误提示别太生硬。但Prompt是低维表达，你能写进去的，只是意图的一小部分。剩下的空白会由模型的通用经验补上。 从这个角度看，很多Prompt技巧并不神秘。它们有效，是因为把隐性意图变成了可见上下文：给反例，是在告诉模型哪些路径不能走；给Few-shot，是在告诉模型当前任务的局部分布长什么样；给验收标准，是在告诉模型什么输出算对；给现有代码片段，是在告诉模型当前仓库的真实风格和接口。Prompt的目标不是把话写得漂亮，而是尽量减少模型需要猜的部分——即最大化互信息，把条件熵压到尽可能小。 新项目对AI友好，不只是因为代码少。更关键的是，新项目的真实约束往往更接近模型在训练中见过的公开模式。模型的分布P和这个项目的真实分布Q重合度比较高。而历史业务正好相反，它的难点不只在代码量大，更在于隐性规则多：这个字段为什么不能改名、这个接口为什么必须兼容旧客户端、这个工具函数为什么看起来绕但不能替换……这些信息通常不在公开训练数据里

框架的延伸：工程实践与角色重塑

基于上述分析，我们可以把AI Coding的失败分为两个独立维度：覆盖层失败表现为输出含糊、摇摆、前后不一致（条件熵太大）；填补层失败表现为输出稳定但业务上是错的（模型自信地用公开先验填了私有空白）。 在工程实践层面，Harness Engineering代表了一种更系统的思路——它不只是给模型更多上下文，而是在每一轮生成后，把真实世界的约束不断显性化。通过计划分解、状态管理、工具编排、验证门控、反馈回路和回退机制的组织，让模型在多轮行动中逐步校准方向。 与此同时，AI Coding也在重塑人的分工。当代码生成变快之后，真正影响结果的环节变成：谁能把意图高密度地表达出来，谁能验证输出是否贴合真实约束。SDD（Specification-Driven Development）可以看作这种变化的一种具体形态——先把意图压缩成高密度规格，再让AI做实现。这减少了一次转译损耗，但也把更多的隐性约束推迟到了更后面的环节。

如有侵权，请联系删除。