物联网设备凌晨三点集体掉线,查到最后是MQTT心跳包惹的祸
摘要:设备凌晨集中掉线多因心跳间隔、服务端超时、重连退避三者不匹配,叠加校时与定时任务挤占通道。给出心跳留余量、退避加抖动、任务错峰等可落地参数,并说明电池设备不适用。
先说结论:凌晨三点集体掉线,九成不是网络断了,是心跳参数配错了。我更倾向把它归为“服务端超时时间、客户端心跳间隔、断线重连策略”三者之间的账没算平,设备本身没毛病,链路也没断,是双方对“活着”的定义不一致。
上个月有个做共享设备的小团队找我,说他们两百多台机器每天凌晨三点到三点半之间集中离线,白天几乎不复现。运维第一反应是运营商半夜割接,查了三天日志,拨号记录干干净净。第二反应是服务器负载,可那个点数据库连接数不到白天的十分之一。最后把抓包翻出来才看清:设备在凌晨零点前后会做一次本地校时,校时后系统时间跳变,心跳定时器被重置,原本 60 秒一发的包变成了一百多秒才发;服务端按 90 秒判定离线,直接踢连接。设备以为自己在正常呼吸,服务端已经给它判了死刑。
这个坑的根子在于心跳不是“发出去就算数”。MQTT 里 keepalive 是客户端向服务端承诺的“我最多沉默多久”,服务端按 1.5 倍 keepalive 做超时判定。客户端设 60 秒,服务端就在 90 秒时动手。问题出在实现上:很多嵌入式端用单线程轮询,校时、OTA 检查、传感器采集挤在一个循环里,校时那一下把定时基准冲掉了,心跳就被推迟。推迟一次不致命,推迟到超过 1.5 倍阈值,连接就断。断线后如果重连策略是指数退避,第一轮退 5 秒、第二轮 10 秒、第三轮 20 秒,几百台设备会在几分钟内形成重连风暴,服务端 accept 队列直接打满,表现就是“集体掉线”。
第二个理由更隐蔽:凌晨三点恰好是很多设备做定时任务的时间点。有人把固件升级检查、日志上报、全量状态同步都排在凌晨两三点,这些任务和心跳共用一个网络通道。任务一跑,几十 KB 的数据把上行带宽占住,心跳包排在队列后面。心跳这种小包对延迟最敏感,它不是带宽问题,是排队问题。设备侧看心跳发出去了,实际还堵在发送缓冲区。我见过一个配置:心跳间隔 30 秒,服务端超时 45 秒,而凌晨的日志上报单次耗时经常超过 20 秒,等于每次上报都在赌心跳能不能插队。这种参数看着合规,实际是把系统架在概率上。
第三个理由是很多人忽略的时区与时间同步。设备本地时间和服务端时间不一致,日志时间戳对不上,排查时误判成“设备失联半小时”,实际只断了三分钟。更麻烦的是有些模组校时后不通知应用层,应用层还在用旧的 tick 计数,心跳周期被悄悄拉长。这类问题白天被业务流量掩盖,凌晨设备空闲、任务集中,才集中暴露。
反例也得说一个。有团队遇到同样现象,咬定是心跳问题,把 keepalive 从 60 秒调到 300 秒,结果掉线没减少,反而重连更慢。原因很简单:他们的设备在弱信号环境下会进入省电模式,射频模块休眠,心跳根本发不出去。调大 keepalive 只是让服务端更晚发现,设备侧该睡还是睡。真正要改的是唤醒周期和心跳的配合,让心跳发生在射频醒着的窗口内。这说明心跳参数不是越大越稳,它得和设备的电源策略、任务调度对齐,脱离硬件行为谈参数就是拍脑袋。
具体怎么落地,我给几个能直接抄的数值参考。心跳间隔不要卡着服务端超时设,留出至少两到三个心跳周期的余量,比如服务端超时 90 秒,客户端心跳设 30 到 40 秒,允许丢一两个包还能活。重连退避要有上限,指数退避封顶 60 秒,并且加 0 到 30 秒的随机抖动,几百台设备才不会同一秒涌进来。凌晨的定时任务错开,别都挤在整点,按设备 ID 做分钟级散列。校时这类会改动系统时间的操作,校时前后各补发一次心跳,把定时基准重新对齐。还有一个限制要说清:这套调法适用于长连接常驻的设备,如果是按需唤醒、一天只上线几次的电池设备,硬套心跳保活只会把电耗光,那类场景该用短连接加消息队列,别拿 MQTT 当万能药。
排查顺序也值得固定下来。先看断线时间分布,是整齐的整点还是散乱的;整齐多半是定时任务或校时,散乱才怀疑网络。再看断线前最后一条心跳的发送时间和服务端接收时间的差值,差值稳定在阈值附近就是参数问题,差值忽大忽小就是链路或调度问题。最后看重连间隔是否符合退避曲线,不符合说明客户端实现有 bug。这三步走完,基本不用猜。
说实话,心跳包这种几十字节的东西,最容易在评审时被一句“默认配置就行”带过去,出事时又最难查。我的判断很直接:凡是设备数量过百、又带定时任务的系统,心跳参数必须当成业务参数来设计,写进配置表、跟着固件版本走,别留在代码里的一个常量。今晚就去翻一下你们服务端的超时判定和客户端的定时器实现,看看校时那行代码后面有没有补发心跳。