简而言之: 生成的回复通常以三种方式失败——你没说过的细节冒出来了、语气和这段关系不搭、或者在一个本来真有三个选项的处境里只给了你一个笃定的答案。这些都不是智力问题,是信息问题,而解法是一个会停下来问、而不是把空缺填掉的工具。
每隔几个月,模型写东西的水平就会更好一点。可回复依然难以信任,而这件事值得说清楚,因为原因指向的解法,和大家正在造的那个东西不是一回事。
生成的回复,到底哪里容易出问题?
三种失败形态,而且它们一致得惊人。
它编一个细节
你要一条关于发货延迟的回复,它写出「您的订单将于周四送达」。你从没说过周四。 这句话很通顺——而通顺正是它危险的地方:一个写得漂亮的错答案,读起来像一个想清楚了的答案。
它把关系搞错
同一段话,两个收件人:你的主管,和你最好的朋友。一个分不清这两者的工具会挑一种语气,然后套在两边——而你立刻就会看出来,因为语气恰恰是你真正在担心的那部分。
它在本来有真选项的地方只给一个结论
「谢谢,我周五给您」——如果你想承诺,这是个好回复;如果你想再要一点时间,这是个糟糕的回复。当一条回复可以合理地往好几个方向走时,一个笃定的答案帮不了你做决定,它只是把决定挪到了别处——通常是挪进你脑子里,晚上十一点。
还有一个几乎没人提的破绽
前三种都在内容里。这一种在内容之前——读者还没读到意思,就已经知道这是机器写的了。
有些说法和生成文本绑得太紧,以至于它们本身就带着机器味:
「希望这封邮件能及时送达您手上。」「如有任何问题,请随时与我联系。」「感谢您的理解与支持。」「关于以上提到的事项。」
现在几乎没人这么说话。一段以这类句子开头的回复,在内容被考虑之前就已经自报家门了——而收件人接下来会换一种方式读它,无论它写了什么。
注意这四件事的共同点:模型不是太笨。它是缺了点什么,然后把这个缺口填上了,而不是把缺口指给你看。
为什么更聪明的模型解决不了?
因为这三种都不是能力上限。
更好的模型会少编一点,但编造来自缺失的信息,不是来自推理不行——再多的参数量也不会告诉它你的周四是怎样的。语气更糟:那些信息根本不在消息里,而在一段这个工具从未见过的关系里。而第三种失败压根就不是”错误”——在三个答案都成立时只给一个,是一个设计选择,而更聪明的模型只会把这个选择做得更笃定。
这才是让人不舒服的地方:随着写作水平提高,这些失败会变得更难被发现、而不是更少见。 一个通顺的错回复,比一个别扭的错回复更有说服力。把模型做得更好,只会让输出更滑顺,而底下的缺口一动不动——所以「等下个模型」对这个问题来说不算一个计划。
我们写过自己这一版的机制,在为什么它不确定就问你,而不是编一个里。简短版:有用的动作不是答得更好,而是在你答不出来的时候察觉到。
「会问」到底解决了什么?
会问不是”回答”的弱化版。它解决的是另一个问题——它把一个看不见的缺口,变成一个看得见的缺口。
- 一个问题是一个检查点。 「你能确定的日期是哪天?」花你四秒,却把那个凭空出现的”周四”从草稿里彻底拿掉了。
- 它把决定挪回你手上。 给方向,不给结论:温和 / 中性 / 坚决,承诺 / 要时间 / 拒绝。你一键选一个,而不是自己私下一个劲地纠结——那正是按下发送前的那 12 分钟里描述的那种负荷。
- 它让产出可修改。 基于你提供的事实搭起来的草稿,是一份你能改的草稿。基于猜测搭起来的,只能逐行核对——而核对比写更慢。
还有一个二级好处:一个会问的工具,等于在告诉你它不知道什么,而这恰恰是你最需要的东西——一张诚实的、标明「哪里仍然需要你的判断」的地图。有这张图,才分得清「委托它写一条回复」和「把决定外包出去」。
这套设计的代价是什么?
值得说明,因为它不是免费的。
- 多几个来回。 会问,意味着回复不总是「一键」。我们认为这个交换是对的——一个问题花几秒,一个错误的日期赔一段关系——但它确实更慢;如果你要的是压倒一切的速度,那它不是这个工具。
- 你得回答。 有时候意味着要去查一个事实。区别在于:你是在它被说给别人之前查的。
- 当你也不知道的时候,它也帮不上。 有时候诚实的答案就是「我还不知道该说什么」。一个会猜的工具会很乐意替你盖住这一点;一个会问的工具会把它交还给你——不那么舒服,但更真实。
这些都不是更好的模型能消除的东西。它们是不编造的代价,而我们宁愿付这个代价,也不愿给你一个你需要去核对的笃定答案。
所以是的,它有时会短暂地显得没那么「好用」——多一个来回。但你拿到的回复是建立在你真的提供过的事实上的,所以你可以改它,而不是审它。那个「问一个问题然后答对」的版本,总体上比那个「笃定地回答然后必须核对」的版本更快。
几个具体问题
为什么我不信任 AI 写的回复?
因为上面那三种失败,也因为一个通顺的错误比一个别扭的错误更有说服力。写作水平提升得比可靠性快,所以这个缺口先表现为一种感觉,很久之后才表现为一个事实。
换更聪明的模型能解决吗?
解决不了这三种。更好的模型会少编,但缺失的信息依然缺失——再多的参数量也不会告诉它你的周四是怎样的,或者你的主管期待哪种语气。
会问是不是更慢?
多一个来回,通常四秒。真正该对比的不是「一键还是两步」,而是「改一份基于你提供事实的草稿」和「逐行审一份基于猜测的草稿」。
它的限制也是我们的限制,而我们宁愿把它们摆出来,也不愿糊上去:你的话,到底去了哪儿讲清了我们能主张什么、不能主张什么。
如果这个交换听起来像是你会做的那个:加入等候名单。BreatheReply 为 Windows 打造,用你自己的 Key 或本地模型,从不替你发送——你决定,你发送。