当大模型学会用幻觉编故事,谁来为这场信任危机买单
摘要:大模型幻觉不是技术故障而是系统性能力溢出,RAG和提示工程治标不治本。信任危机的买单者是整个AI生态,需要模型侧校准、应用侧熔断、治理侧追溯三层工程约束共同兜底。
大模型正在学会一件危险的事:用幻觉编故事。这不是技术故障,而是一种系统性的能力溢出——当模型被训练得越来越擅长“生成”,它对“真实”的敬畏却在同步衰减。过去一年,我们见证了太多荒诞场景:法律文书里冒出并不存在的判例,医疗问答中给出看似严谨却毫无出处的建议,客服机器人信誓旦旦地承诺一个根本不存在的政策。每一次幻觉,都在消耗用户对AI的信任存量。问题是,这场信任危机一旦爆发,谁来买单?
先厘清一个被普遍误读的概念。幻觉不是模型“出错”,而是模型在按概率补全。它本质上是一种过度自信的生成行为:当上下文信息不足时,模型不会说“我不知道”,而是用最流畅的方式编造一个答案。这背后是训练目标与事实约束之间的结构性错位——SFT让模型学会“像人一样回答”,RLHF让模型学会“让人满意”,但两者都没有教会模型“在不确定时闭嘴”。更麻烦的是,当模型被赋予Agent能力,幻觉就不再是文本层面的瑕疵,而会转化为真实世界的动作:调用API、发送邮件、执行交易。一个编造出来的参数,可能触发一连串不可逆的操作。
行业里有一种乐观论调:RAG可以解决幻觉。检索增强生成确实能把模型锚定在外部知识上,但它只是把“闭卷考试”变成了“开卷考试”。检索环节的噪声、文档的时效性、多跳推理中的信息丢失,都会让模型在“有据可查”的假象下继续编造。向量数据库解决了召回效率,却没有解决召回质量;提示工程优化了输入结构,却没有改变模型对不确定性的沉默。幻觉的根因不在知识获取,而在模型对自身知识边界的无感知。
更深层的问题在于,整个产业链对幻觉的容忍度是不对称的。模型提供方倾向于把幻觉描述为“偶发问题”,因为承认系统性缺陷会动摇商业叙事;应用开发方则把幻觉风险转嫁给用户,用“仅供参考”的免责声明完成责任切割;而终端用户——无论是律师、医生还是普通消费者——往往在付出真实代价之后,才发现自己信任的是一个概率机器。这种责任链条的断裂,才是信任危机真正的火药桶。
那么,谁来买单?短期看,是那些把大模型直接嵌入关键业务流程却缺乏校验机制的企业。一次幻觉引发的合规事故,足以让一家中小型SaaS公司付出惨痛代价。中期看,是整个AI应用生态的信任溢价——当用户开始默认“AI说的要打折扣”,所有基于大模型的产品都要承担额外的验证成本。长期看,是社会对AI技术的整体信任赤字。一旦公众形成“大模型不可信”的刻板印象,整个行业的商业化进程都会被拖慢。
但把板子全打在模型身上并不公平。幻觉是技术阶段的必然产物,真正需要追问的是:我们是否在用对待确定性系统的态度,对待一个概率系统?传统软件的逻辑是“输入确定,输出确定”,而大模型的逻辑是“输入确定,输出分布”。当企业把大模型塞进客服、法务、医疗等容错率极低的场景时,本质上是在用概率工具做确定性决策。这不是模型的错,是架构设计的错。
破局的方向不在单一技术点,而在系统性的工程约束。第一层是模型侧的“不确定性表达”:让模型学会在置信度不足时主动降级,而不是强行生成。这需要训练目标从“最大化奖励”转向“校准化奖励”,把“承认不知道”纳入正向激励。第二层是应用侧的“幻觉熔断”:在Agent执行链路中嵌入事实校验节点,对关键参数进行多源交叉验证,把幻觉拦截在动作发生之前。第三层是治理侧的“可追溯机制”:对模型输出建立来源标注和置信度分级,让用户知道哪些内容有据可查、哪些是模型推断。这三层缺一不可,单靠RAG或提示工程都是治标不治本。
值得警惕的是,行业里正在流行一种“幻觉无害论”——认为只要模型足够有用,偶尔编故事可以接受。这种论调极其危险。信任的建立是渐进的,崩塌是瞬时的。一个编造出来的法律判例,足以让用户对整个AI辅助系统失去信心。大模型的能力越强,幻觉的破坏力就越大。当模型学会用流畅的叙事包装虚构的事实时,它欺骗的不只是用户的眼睛,还有用户的判断力。
说到底,幻觉不是需要被“消灭”的敌人,而是需要被“管理”的风险。就像金融系统不会承诺零风险,但会通过资本充足率、压力测试和存款保险来管理风险一样,大模型生态也需要一套类似的信任基础设施。模型提供方要披露幻觉率,应用开发方要设计容错机制,监管方要明确责任边界。三方各司其职,信任危机才不会演变成信任崩溃。
回到标题的问题:谁来买单?答案是,没有人应该单独买单,但所有人都必须参与投保。这场信任危机的保费,就是工程约束的投入、责任机制的建立和用户教育的耐心。大模型可以学会编故事,但行业不能学会装睡。当幻觉从技术缺陷变成商业风险,买单的从来不是某一家公司,而是整个生态的信用底座。这个底座一旦松动,再强的模型能力也撑不起用户的信任。