端侧AI吹了三年，离线大模型还是先学会别乱答再谈普及

端侧AI的概念被反复翻炒了三年，几乎每一场发布会都要把“离线大模型”当作压轴戏码。参数从十亿卷到百亿，跑分从几十分卷到上千分，演示视频里对答如流、文采斐然。可一旦把设备拿到手、断掉网络、问几个稍微拐弯的问题，幻觉就像野草一样疯长——编造不存在的功能、虚构时间地点、把用户指令理解得南辕北辙。这样的离线大模型，与其谈普及，不如先学会一件事：别乱答。

这不是苛责，而是端侧场景的底层逻辑决定的。云端大模型胡言乱语，用户刷新重试的成本几乎为零；端侧大模型一旦在车机里把“打开除雾”理解成“打开座椅加热”，在眼镜上把“前方路口左转”听成“播放左转专用道”，后果就不只是体验问题。端侧AI的卖点从来是低延迟、隐私闭环、弱网可用，可这些优势全部建立在“回答基本靠谱”的前提上。前提不成立，优势就是空中楼阁。

为什么端侧模型特别容易乱答？根子不在参数量，而在训练目标和部署约束的错配。云端模型可以堆数据、堆算力、堆人类反馈，用海量对齐语料把“不知道”三个字刻进模型的概率分布里。端侧模型受限于内存带宽、功耗墙和存储容量，往往要在量化、剪枝、蒸馏之后上线，精度损失首当其冲的就是“拒答能力”——原本该说“我不确定”的地方，压缩后变成了信誓旦旦的胡编。更麻烦的是，端侧设备采集的上下文高度碎片化：传感器噪声、语音识别错误、多轮对话的指代消解，每一项都在给模型输入垃圾。垃圾进、垃圾出，模型越“自信”，用户越遭殃。

行业里有一种偷懒的解法：把端侧模型做成“意图分类器”，只识别有限指令，超出范围就转云端。这确实能降低乱答率，但等于承认端侧大模型是个伪命题——用户要的是自然语言交互的通用助手，不是又一个语音命令菜单。另一条路是加大端侧算力，把NPU的TOPS数往上推，可算力上去了，模型还是那个在低质数据上微调出来的模型，幻觉不会因为算力充裕就自动消失。算力解决的是“跑得动”，不是“答得对”。

真正该补的课，是端侧场景下的“不确定性表达”。云端模型有RLHF把“我不知道”调成高概率输出，端侧模型缺的正是这套对齐机制的精简版。一个可行的思路是把拒答能力从模型参数里解耦出来，用轻量级的规则引擎或小分类器做前置守门：置信度低于阈值就明确告知用户“当前离线模式无法可靠回答”，而不是硬着头皮生成一段看似流畅的废话。另一个方向是检索增强在端侧的落地——把本地知识库做成向量索引，模型只负责组织语言，事实来源由检索兜底。这比让一个量化后的模型死记硬背要靠谱得多，也符合端侧存储相对宽裕、算力相对紧张的现实。

还有一层容易被忽略：端侧模型的评测体系几乎是空白。云端有标准 benchmark，端侧呢？同一款模型在不同芯片、不同内存规格、不同量化策略下的表现差异巨大，可行业里拿出来的跑分往往是在理想环境下测的。用户真实使用中的语音输入噪声、多任务并发、电量紧张时的降频，全都不在评测覆盖范围内。没有贴近真实场景的端侧评测标准，“离线大模型”就永远停留在发布会PPT里。吹了三年的风，该落地到“答错率”这个最朴素的指标上了。

当然，这不是说端侧大模型没有前途。恰恰相反，隐私敏感场景、工业离线环境、车载座舱、可穿戴设备，对本地推理的需求是真实存在的。但需求真实不等于产品成熟。从“能跑”到“好用”之间，隔着一道叫“可靠性”的鸿沟。跨过这道鸿沟的标志不是参数翻倍，而是用户敢在断网状态下放心提问，且得到的回答不会让他想砸设备。在那一天到来之前，端侧AI的叙事应该从“普及”退回到“可用”，从“智能”退回到“可信”。先学会别乱答，再谈别的。