Android开发Im总结-1.一些坑和协议设计

移动端IM的开发，与传统PC端IM有很大的不同，尤其无线网络的不可靠性、移动端硬件设备资源的有限性等问题，导致一个完整的移动端IM架构设计和实现都充满着大量的挑战

移动端IM客户端的坑
移动端有哪些难点需要解决。
1.流量：
采取哪种协议、图片缩略图、附件的压缩三点决定了流量的大小。
2.耗电：
(1)流量越小，耗电越低。(2)心跳策略，减少心跳次数，耗电量就会降低。
3.心跳时长：
wifi，2G，3G，4G，移动、电信、联通,不同网络，不同运行商，NAT失效时间不一样，因此心跳的时间也就不一样。
4.网络连接：
cmnet和cmwap下连接处理机制。
5.网络不稳定：
移动端最大的特点就是网络不稳定，在不稳定的网络状态下，如何保证消息以最快的速度到达？如何避免重联风暴？这些既需要从整体架构考虑，也需要在移动端采取巧妙的策略加以避免。

移动端IM架构设计的坑
首先，来看移动端IM架构设计需要考虑的问题。
1.连接器的设计：
连接器主要用来管理客户端的长连接。目前最好的连接器单台8G8核的服务器可以做到70万—100万的连接，而某些开发者只能做到4000左右的连接，相差好几个数量级。这里的奥妙在哪里呢？
2.中间件的设计：
是否采用通讯中间件？通讯中间件的好处有哪些？如果不采用中间件，连接器和逻辑服务器的连接关系如何管理呢？
3.逻辑服务器：
逻辑服务器通常简单一点，主要是根据业务逻辑进行最小粒度的划分即可。但是即便如此，还是有很多的开发者把看似相关实则不相关的逻辑放在一起，如把鉴权和message服务器放在一起。
4.状态服务器：
状态服务器主要管理用户在线、离线的相关状态，需要采取中心节点的方案，否则状态就会不同步。这里主要需要考虑状态服务器所对应的数据存储机制，如何进行写操作，如何进行读操作？以便最大的提高状态服务器的处理能力和响应速度。
5.数据库的设计：
数据库的设计是最难的，也是做大的瓶颈。因为无论对于sql（关系型）数据库还是nosql（非关系型）数据库，都有读写处理的极限，那就需要考虑数据库如何分区（根据什么原则、什么操作、哪些用户访问哪个节点上的数据库）。同时又需要考虑每个原子操作（如登陆）需要读哪些库，写哪些库。只有这些指标明确了，你才能在假设有100万并发用户，100万条并发消息的情况下，准确评估服务端需要多少台服务器，如何部署。
6.其他：
还有设备推送的处理，何种机制能够保证不丢消息，离线消息如何处理，等等。这些都是必备而又非常复杂的功能点和技术要求，都需要采取正确的架构和策略才能实现。

该如何设计私有通信协议？
1序列化与反序列化
移动互联网相对于有线网络最大特点是:带宽低，延迟高，丢包率高和稳定性差，流量费用高。所以在私有协议的序列化上一般使用二进制协议，而不是文本协议。
常见的二进制序列化库有protobuf和MessagePack，当然你也可以自己实现自己的二进制协议序列化和反序列的过程，比如蘑菇街的TeamTalk。但是前面二者无论是可拓展性还是可读性都完爆TeamTalk(TeamTalk连Variant都不支持，一个int传输时固定占用4个字节)，所以大部分情况下还是不推荐自己去实现二进制协议的序列化和反序列化过程。
2协议格式设计
基于TCP的应用层协议一般都分为包头和包体(如HTTP)，IM协议也不例外。包头一般用于表示每个请求/反馈的公共部分，如包长，请求类型，返回码等。 而包头则填充不同请求/反馈对应的信息。
面对真正的业务逻辑时，包体里面会需要塞入更多地信息，这个需要开发根据自己的业务逻辑总结公共部分,如为了兼容加入的协议版本号,为了负载均衡加入的模块id等。

实际开发过程中还有大量的问题需要处理。
1协议加密
为了保证协议不容易被破解，市面上几乎所有主流IM都会对协议进行加密传输。常见的流程和HTTPS加密相似:建立连接后，客户端和服务器进行进行协商，最终客户端获得一个当前Sessino的秘钥，后续的数据传输都通过这个秘钥进行加解密。一般出于效率的考虑都会采用流式加密，如RC4。而前期协商过程则推荐使用RSA等非对称加密以增加破解难度。
2快速连接（即掉线重连机制）
对iOS APP而言，因为没有真后台的存在，APP每次启动基本都需要一次重连登录(短时间内切换除外)，所以如何快速重连、重登就非常重要。
常见优化思路如下:
本地缓存服务器IP并定期刷新。
合并部分请求。如加密和登录操作可以合并为同一个操作，这样就可以减少一次不必要的网络请求来回的时间；
简化登录后的同步请求，部分同步请求可以推迟到UI操作时进行，如群成员信息刷新。
3连接保持（即心跳机制）
一般APP实现连接保持的方式无非是采用应用层的心跳，通过心跳包的超时和其他条件(网络切换)来执行重连操作。那么问题来了:为什么要使用应用层心跳和如何设计应用层心跳。众所周知TCP协议是有KEEPALIVE这个设置选项，设置为KEEPALIVE后，客户端每隔N秒(默认是7200s)会向服务器发送一个发送心跳包。
但实际操作中我们更多的是使用应用层心跳。原因如下:
KEEPALIVE对服务器负载压力比较大(服务器大大是这么说的...)；
socks代理对KEEPALIVE并不支持；
部分复杂情况下KEEPALIVE会失效，如路由器挂掉，网线(移动端没有网线...)直接被拔除。
移动端在实际操作时为了节约流量和电量一般会在心跳包上做一些小优化：
精简心跳包，保证一个心跳包大小在10字节之内；
心跳包只在空闲时发送；
根据APP前后台状态调整心跳包间隔 (主要是安卓)。
4消息可达（即QoS机制）
在移动网络下，丢包，网络重连等情况非常之多，为了保证消息的可达，一般需要做消息回执和重发机制。参考易信，每条消息会最多会有3次重发，超时时间为15秒，同时在发送之前会检测当前连接状态，如果当前连接并没有正确建立，缓存消息且定时检查(每隔2秒检查一次，检查15次)。所以一条消息在最差的情况下会有2分钟左右的重试时间，以保证消息的可达。
因为重发的存在，接受端偶尔会收到重复消息，这种情况下就需要接收端进行去重。通用的做法是每条消息都戴上自己唯一的message id(一般是uuid)。
5文件上传优化
IM消息(包括SNS模块)内包含大量的文件上传的需求，如何优化文件的上传就成了一个比较大的主题。
常见有下面这些优化思路:
将上传流程提前:音频提供边录边传。朋友圈的图片进行预上传，选择图片后用户一般会进行文本输入，在这段时间内后台就可以默默将选好的图片进行上传；
提供闪电上传的方式:服务器根据MD5进行文件去重；
优化和上传服务器的连接(参考快速连接)，提供连接重用的功能；
文件分块上传:因为移动网络丢包严重，将文件分块上传可以使得一个分组包含合理数量的TCP包，使得重试概率下降，重试代价变小，更容易上传到服务器；
在分包的前提下支持上传的pipeline，避免不必要的网络等待时间；
支持断点续传。