大模型已经很聪明 为什么还做不好许多小事？

作者：祝维沙

一、AI作为一个综合系统还存在应用短板

我每天花大量时间使用AI，与它讨论问题、修改文章、制作书稿。使用得越多，越能感受到大模型能力的惊人进步，也越容易发现它的一些明显缺陷。

一个很有意思的现象是：AI可能反复犯同样的错误。例如，让它按照已经明确的要求制作正式书稿，中文正文要求段首缩进两个字符，英文正文要求顶格。纠正一次，它能够理解；下次遇到类似任务，却可能再次出错。

懂得编写技能（Skill）的用户可以尝试自行解决，但多数用户对技能的编写、配置和调用并不熟悉。把这些工作交给用户，甚至比使用传统互联网软件还复杂。用户未必能直接感受到算力军备竞赛带来的差别，却能立即感受到产品是否好用。易用性是市场扩大的重要条件。

二、实践中AI的十个能力缺口

第一，对话起点判断不足。用户提出一个问题，AI经常立即回答，却没有先判断用户究竟想解决什么，自动追问可能比立即回答还重要。对于陌生问题，正确的起点可能是广泛了解事实和不同观点，而不是立即套用已有框架。AI回答得再流畅，如果一开始就找错了问题，后面的工作可能全部偏离目标。

第二，理解问题的层次不足。AI善于总结文章明确写出的内容，却未必能够充分理解作者没有说透的思想。一篇文章真正重要的地方，有时是它隐含的前提、尚未展开的判断，以及事实背后更深层的关系。理解文字与理解思想，并不是同一回事。

第三，主动提出问题的能力不足。大模型可以轻松列出几十个研究问题，但能够提出问题，不等于能够发现真正重要的问题。我们研究Agent时，随着事实不断增加，研究方向多次改变。最初的问题没有错，却不一定是最值得深入的问题。AI往往需要用户指出这种变化，而不能主动发现应当改变研究问题。

第四，创新能力还不稳定。AI很擅长关联知识、组织论证、提出方案，但新颖的组合不一定具有新的思想价值。真正的创新，需要发现原有解释无法说明的事实，提出更有解释力的新认识，并经受反例和实践检验。大模型已经表现出部分这样的能力，但距离稳定、自主地发现重要问题仍有明显差距。

第五，抽象与规则形成能力不足。人的经验不只是记住过去发生了什么，更重要的是从经历中发现规律，形成判断规则。AI能够纠正一份书稿中的错误，却未必能够发现同类错误的共同原因，将其抽象为适用于未来任务的规则。

第六，自我检查没有形成稳定闭环。这是一个尤其明显的缺陷。AI能够写文章，也能够检查文章，但它不一定在交付前主动检查。用户追问以后，它甚至可以准确指出自己此前的概念、尺度和证据问题。这说明检查能力已经存在，却没有形成可靠的执行制度。会做与每次都做，是两回事。

第七，不能根据用户反馈持续迭代。人类有一种重要的学习方式，就是从错误中改进。AI能够理解纠正意见，却不一定把它变成下次可以稳定调用的能力。实际上，即使不改变基础模型参数，也可以通过记忆、规则、程序、技能（Skill）和回归测试不断改进。对于可撤销、能够重复验证的工作，这条路已经具有技术可行性，但还没有得到足够普遍、可靠的应用。

第八，有价值的反馈难以有效上行。用户在使用过程中发现的错误，可能对许多人都有价值。但这些信息未必能够经过分类、抽象和验证，传递给负责改进产品、技能和基础模型的系统。个人纠错与公共系统进步之间，还缺少足够完善的连接。当然，反馈上行必须尊重个人隐私，不能把用户的特殊偏好未经确认就变成公共规则。

第九，个性化服务不足。AI可能记得用户说过什么，却不一定真正理解用户的长期目标、经验、判断规则和需求变化。传统互联网账户主要记录身份、交易和偏好；AI时代的个人账户，应当能够通过持续对话形成可修正的个人需求模型。用户每使用一次，系统就有机会更了解他，而不是每次重新开始。就长期、稳定地服务个人而言，一些AI产品的账户能力甚至还不如成熟的互联网服务，没有充分体现AI的优势。

第十，智能体Agent)与技能(Skill)的概念及功能边界不清。不同企业对Agent的定义并不一致，Skill与Agent的功能也可能相互重叠。这一问题不完全是模型的认知缺陷，更反映出技术发展太快，软件组织形式不断变化。模型、运行系统、工具和技能究竟各自增加了什么能力，需要以实际工作检验。如果智能体或技能并非用户自己编写，其执行过程、权限边界和调用后果往往更难评价。

这十个问题有些是基础模型仍不成熟的认知能力，有些是应用系统没有建立完整的执行流程，还有些涉及组织机制和用户服务制度。把它们混为一谈，就难以找到正确的改进办法。

三、算力军备竞赛究竟在解决什么？

今天全球投入巨额资金建设AI算力基础设施，核心目的是通过训练、算法改进和推理计算，不断突破大模型的认知能力边界。

更强的模型可能具有更好的理解、推理、抽象、规划和创新能力，也可能完成过去必须由多个程序协作才能完成的工作。

但是，算力增长不会自动维护个人账户，不会自动保证每次交付前完成检查，也不会自动把用户的纠错保存成经过验证的技能。

这里存在两条相互促进的发展道路。一条是不断提高基础模型的认知能力；另一条是把已经具备的能力组织成可靠、能够持续改进的工作系统。

已有研究者警示，算力军备竞赛可能推动AI研发进一步加速，甚至引发所谓“智能爆炸”。这种预测尚有不确定性，但基础模型能力竞赛短期内很难停止。相比之下，把已有能力组织成能够持续改进的工作系统，已有相当多可着手实施的环节。

四、我们需要大模型，但也需要真正可行地使用他

当前，AI的能力仍在快速发展。今天需要外部程序协助完成的工作，明天可能直接由模型完成。但现实中的数据、交易、授权、责任和个人需求，并不会因为模型变得聪明就自动得到解决。

这些改进中，相当一部分不必等待下一代大模型。我们已经拥有对话、编程、记忆、工具调用和自动检查等能力，缺少的往往是将它们可靠组织起来的机制。

AI的发展，不仅要看未来还能获得多少新能力，也要看今天已经拥有的能力，有多少真正被可靠地使用了。与其急着追求一个无所不能的超级智能体，不如先把已经能够解决的小问题做好。让AI学会主动澄清、认真检查、吸收经验、持续改进，并真正理解它所服务的人。

这些看似普通的进步，积累起来，可能比不断增加新的功能名称更有价值。

也就是先把能做的小事做好。