大模型通用答案没有考虑每个人需求

作者：祝维沙　

一、大模型答案如何才能准确？一个很简单的实验

前几天，我做了一个很简单的实验。

我住在香港。我问ChatGPT：“我想在附近找一家北京菜，你帮我推荐餐厅。”

它很快给出了几家。餐厅都是真的，推荐理由也没有明显错误。但我一看就知道答案有问题：太少了。因为我住在这里，知道附近还有其他选择。

如果我到了一个完全陌生的城市，问同样的问题，ChatGPT给我三家餐厅，每一家都真实存在，评价也不错，我很可能会认为这个答案很好。因为我不知道它漏掉了什么。

于是出现了一个很有意思的问题：答案可以全部正确，但整个答案仍然可能有问题。

二、决定大模型答案质量关键问题，可能发生在推理开始以前

我们通常判断大模型好不好，会看它的答案是否正确、推理是否严密、有没有幻觉。但这个实验暴露了另外一种问题。真正的问题可能发生在推理开始以前。

我输入的是：“附近的北京菜。”

大模型很自然地把这几个关键词当成了问题的起点，然后开始寻找答案。

但“附近的北京菜”真的是我的问题吗？未必。

我可能是四个人吃饭，也可能只有一个人；可能只是随便吃一顿，也可能是请客；可能只愿意走十分钟，也可能愿意坐半小时车；预算可能是每人200港币，也可能是1000港币；我可能想吃最传统的北京菜，也可能更在意环境。这些条件中的任何一个发生变化，最后的答案都可能变化。

所以“附近”“北京菜”只是我说出来的几个关键词。

关键词并不等于需求，更不一定等于真正需要解决的问题。

换一个角度看，用户第一次输入的内容，可能并不是问题本身，而只是关于这个问题的一份不完整信息。

三、一次问答解决问题，这是搜索时代留下来的习惯

传统搜索引擎从关键词开始。人先想办法把自己的需求压缩成几个词，然后交给机器：北京菜、香港酒店、去日本旅游、买一台电脑。

机器拿到关键词以后，再从已有的信息中寻找相关结果。

这个过程有一个默认前提：问题先由人定义，机器负责寻找答案。

所以过去二十多年，我们已经习惯了一件事情：面对机器的时候，先把复杂需求压缩成关键词。

问题是，大模型出现以后，我们仍然很容易延续这个习惯。

用户说一句话，大模型马上开始回答。表面上，大模型比传统搜索聪明得多。它能够理解语言、比较对象、总结信息、进行推理。

但如果一开始接受的只是一个不充分的关键词，它可能只是在一个并不正确的起点上，进行越来越优秀的推理。这就产生了一个很特别的问题：推理能力越强，错误的起点有时反而越不容易被发现。

因为最后得到的答案非常完整，非常有逻辑，看起来什么都有。真正缺少的东西，恰恰没有出现在答案里面。

四、大模型第一次有能力改变这个过程

但是大模型与传统搜索有一个重要区别。它可以问我。

当我说“帮我找一家北京菜”的时候，它不一定马上给答案。它可以先判断：现在缺少的信息中，哪些会真正改变结果？如果位置最重要，就问位置。如果预算会改变候选范围，就问预算。如果是请客还是自己吃会明显改变选择，就问用途。

不需要把所有可能的问题都问一遍。只需要问那些答案不同就可能改变最后判断的问题。

当然，也不是每个问题都需要这样校准。一个明确的事实问题，直接回答通常更有效。只有当缺失的信息可能改变判断结果时，对话才真正有必要。

经过两三轮对话，“附近的北京菜”可能变成：“今晚四个人吃饭，距离驻地半小时以内，人均500港币左右，希望比较传统，环境适合请客。”

到了这里，大模型才真正知道自己应该解决什么问题。

所以，对话的意义可能一直被我们低估了。

它不只是让机器说话更自然，也不只是让用户可以继续追问。

对话第一次让机器能够参与问题本身的形成。

五、关键词只是入口，不一定是起点

这也改变了我们对大模型工作方式的认识。

今天很多大模型实际上仍然沿用类似搜索的过程：用户输入 → 推理 → 答案。

但更合理的过程有时应该是：用户输入 → 对话 → 问题校准 → 推理 → 答案。

这里最重要的变化，不是中间多了一个聊天步骤。

而是机器不再默认用户第一次说出来的话，就是一个已经定义正确的问题。用户输入的第一句话可能只是一个入口。真正的起点，需要人与AI一起找到。

六、交互需要多轮，因为人有时也不知道自己的问题是什么

这件事情还有另外一面。很多时候，并不是人知道完整需求，而AI不知道。人自己也可能不知道。

我们经常只有一个模糊的感觉：我想找一家餐厅。我想买一台电脑。这家公司值不值得投资？AI会不会造成失业？这些都可以成为对话的入口，却未必已经构成一个能够直接回答的问题。

随着AI不断提出问题，人也可能逐渐发现：自己真正关心的并不是最开始说出来的那个问题。因此，对话不是AI单方面向人索取更多信息。它实际上是一个人与AI共同寻找问题的过程。

七、大模型最危险的错误可能发生在答案以前

今天我们花了很多精力提高大模型的推理能力。更大的模型，更长的思维链，更多计算，更强的搜索。这些当然都重要。但如果起点本身没有经过校准，后面的能力越强，并不能自动解决问题。一个模型完全可能从错误的起点出发，进行非常出色的推理。

所以未来评价大模型，也许不能只问：它的答案对不对？它的推理有没有错误？还应该多问一个问题：它为什么从这里开始？

如果这个起点不充分，它有没有能力发现？如果发现了，它会不会停下来问人？

这可能是大模型从“回答问题的机器”继续向前发展必须补上的一层能力。

搜索时代，人必须先把自己的需求压缩成关键词，再交给机器寻找答案。

AI时代第一次出现了另一种可能：人不必先知道完整的问题。人可以先告诉AI自己在想什么。

AI展开，人判断；AI再问，人再校准。经过几轮以后，人与AI共同找到真正值得回答的问题。

因此，关键词仍然可以是入口。但它不应该再被默认成判断的起点。

大模型最重要的进步，也许不只是越来越会回答问题。而是逐渐学会：什么时候不应该急着回答，而应该先把问题找对。

病人告诉医生“我头疼”，医生不会马上把“头疼”当成已经定义完整的问题，然后直接开药。医生首先会问诊，因为同一句“头疼”背后可能是完全不同的问题。

大模型也一样。

真正重要的能力，不只是听到“头疼”以后能够给出多少医学知识，而是知道：现在的信息还不足以开始判断。