58到家多端消息整合之路

经历野蛮发展阶段后，58到家存在众多消息收发场景及不同技术。案例分享总结多个业务场景下消息收发的难点与挑战，梳理各项技术的特点，结合实际业务及研发需求，构建了一套通用消息投递方案。方案建立统一的端到端、端到服务器、服务器到端的消息通道，对业务方屏蔽不同技术的差异，提供消息到达率等核心指标的监控统计。实现业务线能够快速接入各类消息服务的目标。

实践的具体过程、步骤和方法可供同行借鉴。

一．问题的提出

1.1  到家业务复杂

58到家是一家做生活服务类O2O业务的创业公司，势头很猛，业务发展迅速。公司自营三大业务，家政、丽人、速运。找保洁、保姆、月嫂可以使用家政业务；做个指甲美个容可以使用丽人业务；拉货搬家可以找速运。除了三大自营业务，还有非常重要的开放平台，商家在开放平台上发布服务，用户消费服务。开放平台涵盖了你能想到的各种内容，从开锁到换灯泡，从送花到健身。

1.2  消息需求多样

众多业务和不同场景，给消息系统带来很大的挑战。比如速运业务，用户需要搬家，拿出手机查看司机位置，下单，司机抢单，运送完成后计算路程，这些业务都要求及时高效的传递订单及经纬度信息；又比如用户资产变化或者优惠券即将到期，系统需要给用户推送提示信息，而到家的用户不会一直开着58到家的应用，我们需要低成本有效地将提示类信息送达用户；开放平台里，用户需要跟商家沟通，了解提供的服务或商品的具体情况，系统需要确保用户商家不同时在线的情况下能够实现交流。

1.3 重复开发严重

为了应对业务的快速发展，初创公司都会怎么容易实现怎么来。结果建设了众多的消息系统，散落在各个业务线。有的用MQTT，有的用HTTP，有的用个推，有的用米推，消息协议不一致，互联互通存在障碍。研发人员需要熟悉多套消息系统，研发效率低下，研发质量很难保证。

图1：混乱的消息系统

因此迫切需要建设一个统一的消息系统，对研发人员屏蔽细节，提升开发效率，提高开发质量。

二．解决思路

2.1  统一消息平台

统一消息平台主要包括四大部分，TCP消息系统、推送通道、策略中心、端。

图2：统一消息平台架构

1、TCP消息系统。自研的基于TCP协议的消息系统，支持端到端、端到服务器、服务器到端的消息传递，具有性能高、开销小等优点。用于逐步替换五花八门的消息系统。

2、推送通道，强化推送消息能力。整合个推、米推、APNS、微信、短信等消息推送方式。自研的TCP消息系统也是一种消息推送方式。

3、策略中心，人为配置消息投递的策略，可以根据消息可达率，或者业务场景需要，进行修改。

4、端，主要是指移动端。统一消息平台提供统一的SDK，支持移动端与消息平台服务器的交互。同时，端还包括微信、手机短信等用户常用的接收消息的软件。

在这个架构下，业务研发人员只需关注端上的统一SDK，和服务器端统一消息交互接口。其他的精力都可以放在处理业务逻辑上。

2.2  TCP消息系统

TCP消息系统的整体结构如下图。

图3：TCP消息系统

虚线框描述了TCP消息系统的功能组成。包括接入层（msg-gate）、逻辑层（msg-logic）、ip配置（ipconfig）、路由缓存（redis）四大部分。

1、接入层

图中的msg-gate模块是接入层，主要功能包括，

连接整流：维护与客户端的海量TCP长连接，将外界海量TCP长连接整流为少量与后端msg-logic的TCP长连接。

安全信道：建立安全的TCP信道，加密与解密。

初步攻防：实施初步的anti-attack策略，限速策略，消息体大小限制。

消息投递：将msg-logic投递过来的消息发送给客户端。

2、逻辑层

msg-logic模块叫逻辑层，主要功能包括，

连接验证（可以理解为在消息系统中登录）。

APP向app-server发送消息的接口，可以理解为C2S接口。

app-server向APP发送消息的接口，包括单发和群发。

3、Redis缓存

缓存业务客户端的连接状态，连到哪一个msg-gate，连接状态是否正常。用于向用户推送消息时，提供消息路由。

4、ipconfig

为客户端提供接入层ip地址，实现负载均衡、业务分组等功能。

2.2.1 Session管理

接入层保持着与海量客户端的TCP长连接，需要实时跟踪这些连接的状态，TCP消息系统将客户端的连接信息保存在接入层的内存中，叫做session。session记录了客户端对应的channel，可以理解为socketid，标记了登录状态isLogin，登录时间loginTime，和最后活跃时间lastKeepAliveTime。

session需要状态及信息需要实时维护，维护时机主要包括一下内容。

1、登录、登出很好理解，需要修改Peer的登录状态。

2、Keepalive，心跳需要修改session的最后活跃时间。

3、Logic层请求踢人，来自后端的踢人请求。

4、接入层对某个客户端的限速、客户端发消息速度过快会被认为是攻击行为，强制断开连接。

5、socket可能发生异常，非法消息，通不过消息头校验，也需要断开连接。

6、还有一种情况，客户端连接到服务器后，没有传输任何消息，这种情况有可能是网络原因造成的，也有可能是疑似攻击行为。我们需要定时遍历所有session，发现长时间不活跃的session，将它清除掉。

这么多的读写维护session的场景，归结起来有3类。1、通过业务属性用户id定位session；2、通过channel定位session；3、遍历session。

下图是session结构图。

图4：session结构图

session管理主要包括3个结构，中间的Map是保存Peer的核心数据结构，可以通过channelid检索到session。右侧的双向Map保存uid和channelid的映射关系，双向Map可以根据uid检索channelid，也可以根据channelid检索uid，为什么用双向结构，后续会提到。

左侧的队列保存有连接到接入服务器的所有客户端的channelid，队列采用无锁实现方式，定时任务逐条遍历session，不会产生锁，不影响性能。

定时任务从队列读出channelid1，判断channel1是否正常，如果发现长时间不活跃，认为对应的客户端没有连接到接入服务器。需要将HashMap中的session清除，同时需要将BiMap对应的数据清除，清楚BiMap数据的时候，需要根据channelid定位数据，这就是双向Map的用处。

其他的根据uid或者channelid定位并修改数据的请求也不会产生锁，不会对性能构成影响。

有一个点要注意，在新增或删除Peer的时候，需要做好相应的并发控制。

2.2.1 离线消息

离线消息拉取方式如下图。

图5：离线消息逻辑

为了防止一次拉取过多离线消息，拉取方式采用分页拉取的方式。每次拉取10条。

1、APP端拉取离线消息，传递三个参数uid=123, msgid=100,size=10，uid表示是谁拉取消息，msgid是App现有消息中最大的消息id，消息id递增，最大的消息id表示App端最后收到的消息数据。如果App端还没有收到过消息，msgid传0。

2、消息服务器收到拉取离线消息请求，msgid=100表明App端已经收到msgid=100之前的数据。将msgid=100之前的离线消息删除。

3、检索msgid=100之后的10条消息，假设msid从101到110。

4、消息服务器将这10条数据返回App端，完成1页离线数据拉取。

5、如果APP端拉取到的离线消息条数不为0，则APP端将msgid=110做为参数再次请求拉取离线消息，直到服务端不返回数据结束离线消息拉取。

2.3  推送通道

58到家的用户不会经常打开App， TCP消息系统很可能无法及时把消息送达用户。类似限时抢购类的活动，必须在某个时间把消息投送给用户，单靠TCP消息系统无法满足需求。

统一消息推送通道，整合TCP、个推、米推、APNS、微信、短信等消息推送方式，尽最大可能确保消息送达用户。统一推送通道结构如下图

图6：统一推送通道结构图

推送通道，核心工作是完成消息到端的推送。不同的通道，推送时所需参数不完全一致，推送通道能够获取相应通道所需的参数。

图7：推送通道及参数

2.4  策略中心

策略中心支持推送策略的人工配置及自动调整。举两个例子。假设我是健身爱好者，我用App通过TCP消息系统跟健身房老板沟通价格，结果健身房老板没有打开58到家的App，收不到我的消息，这时系统可以根据策略中心的策略，通过APNS或者个推、米推向健身房老板发出消息提醒；再比如，某人确定找一个美甲师做美甲，这个信息对美甲师非常重要，策略中心的一个投递策略很可能是push的同时给美甲师发送短信。

策略中心结构如下图，

图8：策略中心结构图

策略配置模块。人为配置消息推送的策略，便于根据消息可达率，或者业务场景需要，修改消息推送策略。比如前面提到的产品来回调整推送通道，就可以通过这个模块进行配置。

策略解析，解析推送消息策略。读取配置的消息发送策略。同时根据手机类型选择推送通道，小米手机用米推、其他android手机用个推、苹果用apns。

如果是多个通道推送，需要确认是 并行推送（比如资产变化，同时通过APNS、微信推送）或顺序推送（根据ACK情况、如速运订单，优先通过TCP通道推送，如果规定时间没有收到ACK，则通过个推或米推推送）。

计时调度器，根据推送策略，定时探查消息缓存，判断消息是否已送达。依据推送策略进行其他渠道推送或反馈消息是否送达结果。

ACK检测，判断消息是否送达，通过哪个通道送达。

2.5  端

提供统一的移动端开发SDK来支持整个移动端的消息传输。端上SDK有四个核心要点，保活、消息去重、TCP重连随机延时和电量控制。

保活：确保在各种型号手机上，TCP链接可用，是消息传输是否正常的最关键因素。

消息去重，采用了内存队列+SQLite的技术实现，确保在复杂网络环境下，呈现给用户的消息不出现重复情况。

TCP重连随机延时，避免TCP接入服务器意外挂掉后，大量客户端同时发起对其他服务器的连接请求导致雪崩。

控制耗电量是移动开发都需要注意的问题。

三．实践过程

3.1 抽象到家复杂的消息场景

面对复杂的业务，首先需要进行抽象建模，下图展示了消息类型的划分。

图9：消息分类

图中上边一排的手机和笔记本图标在消息系统中我们叫它为端，或者客户端，英文用client表示。中间云的图标是我们的统一消息平台。下边的服务器图标，是业务服务器，英文用sever表示。

到家各种复杂的消息需求，可以抽象为3类。

1、C2S,client to server。例如速运司机手机端，需要将开车轨迹的经纬度近实时的传递到速运后台服务器，服务器才能根据行车轨迹计算车费。

2、S2C,server to client。用户有张保洁优惠券快到期了，服务器需要通知用户。这类由服务器主动发起推送的消息。

3、C2C，client to client。开放平台业务，用户需要咨询商家问题，将问题发给商家，商家进行回答。

3.2目标明确，循序渐进

1、系统需要实现的目标明确。统一消息平台在规划之初已经考虑到了支持3类消息，同时预见到需要强化消息推送能力以及灵活配置能力。总体结构图包括的四大部分，TCP消息系统，推送通道，策略中心，端，确保能够达成最终目标。

2、循序渐进地推动实施。具体实施中，首先研发TCP消息系统，解决大量消息传输的痛点，并逐步推广到各个业务；接着整合多种推送通道，增加推送策略。实施阶段的每一步，都能让业务线看到成效，消息平台也得以在这个过程中快速推广。