第43课：Spark 1.6 RPC内幕解密：运行机制、源码详解、Netty与Akka等

  Spark 是分布式计算框架，多台机器之间必然存在着通信。Spark在早期版本采用Akka实现。现在在Akka的上层抽象出了一个RpcEnv。RpcEnv负责管理机器之间的通信。

RpcEnv包含了如下三大核心：

• RpcEndpoint 消息循环体，负责接收并处理消息。Spark中的Master、Worker都是RpcEndpoint 。

• RpcEndpointRef ：RpcEndpoint的引用，如果需要和RpcEndpoint通信，就必须获取它的RpcEndpointRef，通过RpcEndpointRef发送消息。

• Dispatcher：消息调度器,负责RPC消息路由到适当的RpcEndpoint。

RpcEnv被创建以后，RpcEndpoint可以注册到RpcEnv中，被注册的RpcEndpoint会生成一个相应的RpcEndpointRef来引用它。如果你需要向RpcEndpoint发送消息，必须到RpcEnv中通过RpcEndpoint的名称来获取对应的RpcEndpointRef，然后通过RpcEndpointRef向RpcEndpoint发送消息。

RpcEnv负责管理RpcEndpoint的整个生命周期

• 注册RpcEndpoint，使用name或者uri

• 路由发送给RpcEndpoint的消息。

• 停止RpcEndpoint

注：一个RpcEndpoint只能注册给一个RpcEnv

RpcAddress：RpcEnv的逻辑地址，使用主机名和端口表示。

RpcEndpointAddress:注册到RpcEnv上的RpcEndpoint的地址，由RpcAddress和name构成。

由此可见RpcEnv和RpcEndpoint是在相同的机器上(相同的JVM中)。而要想给远端机器发送消息，是获取远端机器的RpcEndpointRef，而并不是远端的RpcEndpoint注册到本地的RpcEnv中。

在Spark1.6版本中，默认使用的是netty

private def getRpcEnvFactory(conf: SparkConf): RpcEnvFactory = {
  val rpcEnvNames = Map(
    "akka" -> "org.apache.spark.rpc.akka.AkkaRpcEnvFactory",
    "netty" -> "org.apache.spark.rpc.netty.NettyRpcEnvFactory")
  val rpcEnvName = conf.get("spark.rpc", "netty")
  val rpcEnvFactoryClassName = rpcEnvNames.getOrElse(rpcEnvName.toLowerCase, rpcEnvName)
  Utils.classForName(rpcEnvFactoryClassName).newInstance().asInstanceOf[RpcEnvFactory]
}

RpcEndpoint是一个消息循环体，它的生命周期：

构造（Constructor）->启动(onStart)->消息接收(receive&receiveAndReply)->停止(onStop)

receive():不断的运行，处理客户端发送过来的消息。

receiveAndReply():处理消息，并且回应对方。

我们看一下Master的代码：

def main(argStrings: Array[String]) {
  SignalLogger.register(log)
  val conf = new SparkConf
  val args = new MasterArguments(argStrings, conf)
  //指定的主机名必须是start-master.sh脚本运行的本地机器名称
  val (rpcEnv, _, _) = startRpcEnvAndEndpoint(args.host, args.port, args.webUiPort, conf)
  rpcEnv.awaitTermination()
}

/**
 * Start the Master and return a three tuple of:
 *   (1) The Master RpcEnv
 *   (2) The web UI bound port
 *   (3) The REST server bound port, if any
 */
def startRpcEnvAndEndpoint(
    host: String,
    port: Int,
    webUiPort: Int,
    conf: SparkConf): (RpcEnv, Int, Option[Int]) = {
  val securityMgr = new SecurityManager(conf)
  //创建Rpc环境，主机名和端口就是Standalone集群的访问地址。SYSTEM_NAME=sparkMaster
  val rpcEnv = RpcEnv.create(SYSTEM_NAME, host, port, conf, securityMgr)
  // 将Master实例注册到RpcEnv中
  val masterEndpoint = rpcEnv.setupEndpoint(ENDPOINT_NAME,
    new Master(rpcEnv, rpcEnv.address, webUiPort, securityMgr, conf))
  val portsResponse = masterEndpoint.askWithRetry[BoundPortsResponse](BoundPortsRequest)
  (rpcEnv, portsResponse.webUIPort, portsResponse.restPort)
}

在main方法中创建了RpcEnv，并且实例化Master实例，然后注册到RpcEnv中。

RpcEndpoint其实是注册到Dispatcher中的，在netty中的代码实现如下：

override def setupEndpoint(name: String, endpoint: RpcEndpoint): RpcEndpointRef = {
  dispatcher.registerRpcEndpoint(name, endpoint)
}

注：NettyRpcEnv.scala的第135行

而Dispatcher中使用如下数据结构来存储RpcEndpoint和RpcEndpointRef

private val endpoints = new ConcurrentHashMap[String, EndpointData]
private val endpointRefs = new ConcurrentHashMap[RpcEndpoint, RpcEndpointRef]

EndpointData为一个case class：

private class EndpointData(
    val name: String,
    val endpoint: RpcEndpoint,
    val ref: NettyRpcEndpointRef) {
  val inbox = new Inbox(ref, endpoint)
}

在Master中使用数据结构WorkerInfo保存着每个Worker的信息，其中就包括每个Worker的RpcEndpointRef

备注：

1、DT大数据梦工厂微信公众号DT_Spark 
2、IMF晚8点大数据实战YY直播频道号：68917580
3、新浪微博: http://www.weibo.com/ilovepains