飞书群聊已读,是怎么实现的?
咱们聊个看着特别简单、实际上容易翻车的功能:群聊已读。
你在飞书发条消息,过一会儿能看到成员已读`。这个数是怎么来的?我猜大部分人第一反应都是:这还不简单,消息体上加个字段呗。
先看这个 "想当然" 的方案是怎么死的
直觉方案大概长这样:每条消息的 JSON 里挂个数组,比如叫 read_by,存所有读过这条消息的用户 ID。谁读了,就往里 push 一下自己的 ID。
听着挺顺的,对吧?我一开始也觉得没问题。但你拿个 500 人的群算算账:一条消息要被 500 个人读,那就是 500 次更新。而且这 500 次不是普通的 KV 写入,全都是冲着同一条消息记录去的并发追加写。消息一多、群一大,这条记录就成了锁竞争的重灾区。
还没完。更烦的是有人往回翻聊天记录。这时候服务端得把几百条消息的已读状态打包返回,中间还夹着别的成员在读、在改,数据库的行锁排起队来,整条链路跟着一起慢。
问题出在哪?说白了,就是把两种节奏完全不同的数据塞进了同一条记录。消息发出去那一刻,内容就定型了,再也不用改;可 "谁读了" 这件事,一分钟恨不得变八百次。高频进度数据配低频消息实体,绑得越紧,数据量越大,写冲突就越狠。
还有一种更普遍的错觉:群聊已读嘛,不就是单聊那套逻辑循环一遍?单聊的 "对方已读" 跑得好好的,一个人变 N 个人不就完了?
我劝你别这么想。1 对 1 的时候读写压力小,你怎么写都行;到了 500 人的群,连接池分分钟给你打满。单聊方案能跑,真不代表它乘个 N 还能跑。
老手拿到这需求,第一步不是写代码
是拆模型。
去看 RocketMQ 的设计,你会发现它从头到尾其实只干了一件事:把消息内容和消费进度,在物理上彻底切开。
怎么切的?所有 topic 的消息,不管三七二十一,按写入顺序全部追加到一个 Commit Log 文件里。消息体落盘就这一份,顺序写,干净利落。
那 "每个消费组读到哪儿了" 这个进度信息放哪?完全不碰 Commit Log,另写在一个很轻的 Consumer Queue 索引文件里。消息归消息,进度归进度,存储隔开,IO 也隔开,谁也别拖累谁。
把这个思路翻译成 IM 的语言,设计原则就一句话:群消息实体只存一份,每个群成员的阅读水位线各自维护一条,存到别的地方去。
水位线是什么?单聊早就给了你答案
给每条消息分配一个严格递增的 int64 序号,100、101、102 这么排下去。对方读到了 102,那 102 之前的消息默认全部已读。这个 102,就是阅读水位线。
熟 RocketMQ 的朋友看到这儿应该会心一笑:这不就是 Offset 吗。消费者推进 Offset 的动作,跟 IM 里推进阅读进度的动作,就是同一个动作,换了个名字而已。
群聊怎么做?把这个逻辑乘以 N 就行。500 人的群,不需要 500 份消息副本,只要 500 条水位线记录,key 长得像 group_id + user_id → last_read_seq。消息实体一动不动,水位线各推各的,读写路径就此分道扬镳。
这个映射你要是对 RocketMQ 的消费模型熟,基本不用想:
一个聊天窗口就是一个 topic;
你发消息,你就是 producer;
对方拉取、阅读,他就是 consumer,推进自己的 offset;
而群里的 500 个人,不是 500 个 consumer,是同一个 consumer group 下的 500 个 consumer,各记各的进度。
RocketMQ 这套机制,本来就是为 "一份消息,一堆独立消费者,各自推进进度" 设计的。群聊已读正好整个踩在这个模式上。所以这不是硬凑的类比,是业务模型和中间件模型在底下本来就长得一样。
真要落地,绕不开三个坎
头一个是水位线存哪。答案就俩字:隔开。
消息实体落消息存储集群,水位线放 Redis Cluster。用 HINCRBY 原子递增一个群的消息序号,用 HSET 更新每个用户的水位线,一个群一个 hash,每个成员占一个 field。从此消息归消息,进度归进度,各忙各的,互不影响。
第二个是并发扛不住怎么办。
RocketMQ 能扛海量并发,靠的是 NameServer、Broker、Producer、Consumer 各干各的活,谁瓶颈扩谁。IM 这边角色分工其实更简单:手机端既是 producer 又是 consumer,天生就是一体的。而且这不算硬凑,你翻 RocketMQ 源码会发现,Producer 和 Consumer 在底层都是 MQClientFactory 这个工厂统一组装出来的,网络通道复用同一套长连接。想在上面扩展 IM 的业务指令,直接做就行,不用另起炉灶。
第三个最容易卡住:已读状态怎么回推给发送方?
有人会在这儿犯嘀咕,RocketMQ 的消息流不是单向的吗,Broker 又不会主动把 "消费结果" 推给 Producer。但你去看它事务消息的回查实现就明白了,Broker 和 Producer 之间那条 Netty 长连接本来就是双向的,Broker 完全有能力主动下发指令,平时只是没用在这上面。IM 系统更不用愁,客户端到网关的长连接是天然维护着的。群里谁的水位线一更新,服务端拿这条连接把进度事件推回给发送方就行,发送方在本地一合并,52.7% 已读这个数字就出来了。
这套设计真正值钱的地方在哪
说实话,不在用了 Redis,也不在用了长连接推送。
在于借了消息中间件的成熟模型,把自己的业务问题,变成了一个别人早就解决过的架构问题。
大部分人碰到群聊已读,会本能地把它当成一个全新的社交功能,然后在业务层拼命造轮子。可你要是对 RocketMQ 的存储模型、消费进度模型、通信模型够熟,就会发现这个问题在基础设施层早被解决过一遍了。你要做的不是从零发明,是认出 "这题我见过",再把映射关系写清楚。
回头看那条 last_read_seq 水位线,它干的事本质上就一件:把 O (N) 的更新复杂度,变成了 O (1) 的进度推进。
这种能力,跟你用没用过 RocketMQ 其实没关系。跟你会不会把业务问题抽象成数据结构问题,才有关系。
原文地址: https://www.cveoy.top/t/topic/qHYJ 著作权归作者所有。请勿转载和采集!