从零开始实现一个IDL+RPC框架

一、RPC是什么

在很久之前的单机时代，一台电脑中跑着多个进程，进程之间没有交流各干各的，就这样过了很多年。突然有一天有了新需求，A进程需要实现一个画图的功能，恰好邻居B进程已经有了这个功能，偷懒的程序员C想出了一个办法：A进程调B进程的画图功能。于是出现了IPC（Inter-process communication，进程间通信）。就这样程序员C愉快的去吃早餐去了！

又过了几年，到了互联网时代，每个电脑都实现了互联互通。这时候雇主又有了新需求，当时还没挂的A进程需要实现使用tensorflow识别出笑脸 >_< 。说巧不巧，远在几千里的一台快速运行的电脑上已经实现了这个功能，睡眼惺忪的程序媛D接手了这个A进程后借鉴之前IPC的实现，把IPC扩展到了互联网上，这就是RPC(Remote Procedure Call，远程过程调用)。RPC其实就是一台电脑上的进程调用另外一台电脑上的进程的工具。成熟的RPC方案大多数会具备服务注册、服务发现、熔断降级和限流等机制。目前市面上的RPC已经有很多成熟的了，比如Facebook家的Thrift、Google家的gRPC、阿里家的Dubbo和蚂蚁家的SOFA。

二、接口定义语言

接口定义语言，简称IDL,是实现端对端之间可靠通讯的一套编码方案。这里有涉及到传输数据的序列化和反序列化，我们常用的http的请求一般用json当做序列化工具，定制rpc协议的时候因为要求响应迅速等特点，所以大多数会定义一套序列化协议。比如：

Protobuf：

讲到Protobuf就得讲到该库作者的另一个作品Cap’n proto了，号称性能是直接秒杀Google Protobuf，直接上官方对比：

虽然知道很多比Protobuf更快的编码方案，但是快到这种地步也是厉害了，为啥这么快，Cap’n Proto的文档里面就立刻说明了，因为Cap’n Proto没有任何序列号和反序列化步骤，Cap’n Proto编码的数据格式跟在内存里面的布局是一致的，所以可以直接将编码好的structure直接字节存放到硬盘上面。贴个栗子：

我们这里要定制的编码方案就是基于protobuf和Cap’n Proto结合的类似的语法。因为本人比较喜欢刀剑神域里的男主角，所以就给这个库起了个名字—— Kiritobuf。

首先我们定义kirito的语法：

• #开头的是注释

• 保留关键字, service、method、struct,

• {}里是一个块结构

• ()里有两个参数，第一个是请求的参数结构，第二个是返回值的结构

• @是定义参数位置的描述符，0表示在首位

• =号左边是参数名，右边是参数类型

  参数类型：

  • Boolean: Bool
  • Integers: Int8, Int16, Int32, Int64
  • Unsigned integers:

  UInt8, UInt16, UInt32, UInt64

  • Floating-point: Float32, Float64
  • Blobs: Text, Data
  • Lists: List(T)

定义好了语法和参数类型，我们先过一下生成有抽象关系代码的流程：

取到.kirito后缀的文件，读取全部字符，通过词法分析器生成token，得到的token传入语法分析器生成AST (抽象语法树)。

首先我们新建一个kirito.js文件:

定义好了一些必要的字面量，接下来首先是词法分析阶段。

1、词法解析

我们设计词法分析得到的Token是这样子的：

词法分析步骤：

• 把获取到的kirito代码串按照\n分割组合成数组A，数组的每个元素就是一行代码

• 遍历数组A，将每行代码逐个字符去读取

• 在读取的过程中定义匹配规则，比如注释、保留字、变量、符号、数组等

• 将每个匹配的字符或字符串按照对应类型添加到tokens数组中

代码如下：

2、语法分析

得到上面的词法分析的token后，我们就可以对该token做语法分析，我们需要最终生成的AST的格式如下：

看上图我们能友好的得到结构、参数、数据类型、函数之间的依赖和关系，步骤：

1、遍历词法分析得到的token数组，通过调用分析函数提取token之间的依赖节点

2、分析函数内部定义token提取规则，比如：

• 服务保留字 服务名 { 函数保留字 函数名 ( 入参，返回参数 ) }
• 参数结构保留字 结构名 { 参数位置 参数名 参数数据类型 }
  3、递归调用分析函数提取对应节点依赖关系，将节点添加到AST中

代码如下：

3、转换器

得到了语法分析的AST后我们需要进一步对AST转换为更易操作的js对象。格式如下：

通过上面这个格式，我们可以更容易的知道有几个service、service里有多少个函数以及函数的参数。

代码如下：

三、传输协议

RPC协议有多种，可以是json、xml、http2，相对于http1.x这种文本协议，http2.0这种二进制协议更适合作为RPC的应用层通信协议。很多成熟的RPC框架一般都会定制自己的协议已满足各种变化莫测的需求。

比如Thrift的TBinaryProtocol、TCompactProto-col等，用户可以自主选择适合自己的传输协议。
（除了按字节编址还有按字编址和按位编址），我们这里只讨论字节编址。每个机器因为不同的系统或者不同的CPU对内存地址的编码有不一样的规则，一般分为两种字节序：大端序和小端序。

• 大端序: 数据的高字节保存在低地址
• 小端序: 数据的低字节保存在高地址

举个栗子：

比如一个整数：258，用16进制表示为0x0102，我们把它分为两个字节0x01和ox02，对应的二进制为0000 0001和0000 0010。在大端序的电脑上存放形式如下：

小端序则相反。为了保证在不同机器之间传输的数据是一样的，开发一个通讯协议时会首先约定好使用一种作为通讯方案。java虚拟机采用的是大端序。在机器上我们称为主机字节序，网络传输时我们称为网络字节序。网络字节序是TCP/IP中规定好的一种数据表示格式，它与具体的CPU类型、操作系统等无关，从而可以保证数据在不同主机之间传输时能够被正确解释。网络字节序采用大端排序方式。

我们这里就不造新应用层协议的轮子了，我们直接使用MQTT协议作为我们的默认应用层协议。MQTT（Message Queuing Telemetry Tran-sport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的“轻量级”通讯协议，采用大端序的网络字节序传输，该协议构建于TCP/IP协议上。

四、实现通讯

先贴下实现完的代码调用流程，首先是server端：

client端：

无论是server端定义函数或者client端调用函数都是比较简洁的步骤。接下来我们慢慢剖析具体的逻辑实现。

贴下具体的调用流程架构图：

调用流程总结：

• client端解析kirito文件，绑定kirito的service到client对象
• server端解析kirito文件，将kiritod的service与调用函数绑定添加到server对象
• client端调用kirito service 里定义的函数，注册回调事件，发起MQTT请求
• server端接收MQTT请求，解析请求body，调用对应的函数执行完后向client端发起MQTT请求
• client端接收到MQTT请求后，解析body和error，并从回调事件队列里取出对应的回调函数并赋值执行

说完了调用流程，现在开始讲解具体的实现。

server：

定义protocol接口，加上这一层是为了以后的多协议，mqtt只是默认使用的协议：

接下来是server端的暴露出去的接口：

client：

定义protocol接口：

最后是client端暴露的接口：

就这样，一个简单的IDL+RPC框架就这样搭建完成了。这里只是描述RPC的原理和常用的调用方式，要想用在企业级的开发上，还得加上服务发现、注册，服务熔断，服务降级等，读者如果有兴趣可以在Github上fork下来或者提PR来改进这个框架，有什么问题也可以提Issue, 当然PR是最好的 : ) 。

仓库地址：

RPC: https://github.com/polixjs/polix-rpc

IDL:https://github.com/rickyes/kiritobuf