Docker之网络管理（容器间通信的配置）

博文大纲：

• 一、Bridge模式（同一台Docker服务器上容器间的通信）
• 二、部署consul服务实现Docker容器跨主机通信

前言：

当你开始大规模使用Docker时，你会发现需要了解很多关于网络的知识。Docker作为目前最火的轻量级容器技术，有很多令人称道的功能，如Docker的镜像管理。然而，Docker同样有着很多不完善的地方，网络方面就是Docker比较薄弱的部分。因此，我们有必要深入了解Docker的网络知识，以满足更高的网络需求。本文首先介绍了Docker自身的4种网络工作方式，然后介绍一些自定义网络模式。

我们安装Docker时，它会自动创建三个网络，bridge（创建容器默认连接到此网络）、 none 、host。

• host：容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。
• None：该模式关闭了容器的网络功能，相当于一个回环网络。
• Bridge：此模式会为每一个容器分配、设置IP等，并将容器连接到一个叫docker0的虚拟网桥，通过docker0网桥以及Iptables nat表配置与宿主机通信。

[root@docker ~]# docker network ls    #执行该命令查看docker创建的网络

关于上述提到的三个网络解释如下：

• Host：相当于Vmware中的桥接模式，与宿主机在同一个网络中，但没有独立的IP地址。众所周知，Docker使用了Linux的Namespaces技术来进行资源隔离，如PID Namespace隔离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、Iptable规则等都与其他的Network Namespace隔离。一个Docker容器一般会分配一个独立的Network Namespace。但如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。基于Host模式启动的容器，在容器内执行ifconfig时，看到的都是宿主机上的信息。该模式不够灵活，容易出现端口冲突问题。
• None：该模式将容器放置在它自己的网络栈中，但是并不进行任何配置。实际上，该模式关闭了容器的网络功能，类似于会换地址，在以下两种情况下是有用的：容器并不需要网络（例如只需要写磁盘卷的批处理任务）。
• overlay：顾名思义：覆盖，但它又不是覆盖，它的作用就是在容器原有的网络基础之上，再添加一块网卡，并为其分配一个IP地址，可以将所有的docker容器关联到同一个局域网中，适用于容器与容器是跨主机进行通信的场景。
• Bridge：相当于Vmware中的NAT模式，容器使用独立的network Namespace，并且连接到docker0虚拟网卡（默认模式）。通过docker网桥以及IPtables nat表配置与宿主机通信；Bridge模式是Docker默认的网络设置，此模式会为每一个容器分配一个Network nameSpace、设置IP等，并将一个主机上的Docker容器连接到一个虚拟网桥docker0上。

在生产环境中，应用的最多的就是Bridge模式和overlay模式了。这篇博文将围绕着这两个模式进行介绍。

一、Bridge模式

当Docker server启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器就会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中，一般Docker会使用172.17.0.0/16这个网段，并将这个网段分配给docker0网桥使用（在主机上使用ifconfig命令可以看到docker0），然后为容器分配一个同网段的IP地址。

单机环境下的网络拓扑如下（主机地址是10.10.0.186/24）：

Docker 完成以上网络配置的过程大致是这样的：

• 在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。
• Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0。另一端放在主机中，以veth75f9这样类似的名字命名，并将这个网络设备加入到docker0网桥中，可以通过brctl show命令查看。
• 从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。

当所有的容器都是基于默认的docker0进行创建的，那么抛开防火墙、IPtables等相关的设置外，理论上，各个容器是可以相互通信的，但是docker0这个网络是系统自带的，有些功能不能够实现，并且不够灵活。

其实我们也是可以自定义创建网络的，并且可以指定其具体属于哪个网段等。这是docker 0无法实现的，那么，如果各个容器，不是基于同一个网络（如Docker0）创建的话，那么？如何使它们互通呢？

下面来一段配置，来看一下Bridge的工作模式。

实现的效果如下：

• 基于docker0（docker的驱动名称使bridge）网络创建2个容器，分别是box1、box2。
• 创建自定义网络，网络类型为bridge，名称为my_net1.基于此网络创建两个容器box3,box4（若不指定网段，会使用172.18.0.0/16这个网段，基于docker0增加一个网络位）
• 创建自定义网络，网络类型为bridge，名称为my_net2，指定网段为172.20.18.0/24，基于此网络创建两个容器box5(ip为172.20.18.6)，box6（IP为172.20.18.8）。
• 配置实现box2能够和box3相互通信，box4和box5可以相互通信。

[root@docker ~]# docker run -itd --name box1 --network bridge busybox    
#创建一个容器box1，--network选项可以省略，默认就是bridge，这里只是为了展示命令
[root@docker ~]# docker run -itd --name box2 --network bridge busybox   #同上，这里创建一个容器box2
[root@docker ~]# docker network create -d bridge my_net1    #创建一个桥接网络，名称为my_net1
[root@docker ~]# docker run -tid --name box3 --network my_net1 busybox    #基于my_net1创建容器box3
[root@docker ~]# docker run -tid --name box4 --network my_net1 busybox   #同上，创建box4
[root@docker ~]# docker network create -d bridge --subnet 172.20.18.0/24 my_net2   #创建一个桥接网络my_net2，并指定其网段
[root@docker ~]# docker run -tid --name box5 --network my_net2 --ip 172.20.18.6 busybox   
#基于my_net2网络，创建一个容器box5，并且指定其IP地址
[root@docker ~]# docker run -tid --name box6 --network my_net2 --ip 172.20.18.8 busybox    #同上
[root@docker ~]# docker network connect my_net1 box2      #将box2连接到my_net1这个网络
[root@docker ~]# docker exec box2 ping box3   #进行ping测试，可以发现box2可以ping通box3了。
#而如果没有将box2连接到网络my_net1，是绝对不会ping通的。
PING box3 (172.18.0.2): 56 data bytes
64 bytes from 172.18.0.2: seq=0 ttl=64 time=0.069 ms
64 bytes from 172.18.0.2: seq=1 ttl=64 time=0.076 ms
[root@docker ~]# docker network connect my_net2 box4   #将box4连接到my_net2网络
#同box2和box3的ping测试，若没有将box4连接到box5所在的网络，是不可能ping通的。
[root@docker ~]# docker exec box5 ip a    #查看box5的IP地址
         .......................#省略部分内容
16: eth0@if17: <BROADCAST,MULTICAST,UP,LO500 qdisc noqueue 
    link/ether 02:42:ac:14:12:06 brd ff:ff:ff:ff:ff:ff
    inet 172.20.18.6/24 brd 172.20.18.255 scope global eth0     #确认其IP
       valid_lft forever preferred_lft forever
[root@docker ~]# docker exec box4 ping 172.20.18.6   #在box4容器上对box5的IP进行ping测试，可以ping通
PING box5 (172.20.18.6): 56 data bytes
64 bytes from 172.20.18.6: seq=0 ttl=64 time=0.090 ms
64 bytes from 172.20.18.6: seq=1 ttl=64 time=0.130 ms

经过以上配置，已经实现了最终的效果，需要注意的是，我们完全可以将创建的my_net1、my_net2网络驱动理解为一个交换机，而执行命令docker network connect my_net1 box2，则相当于将box2这个容器添加了一块网卡，然后连接到了my_net1这个交换机，然后这个容器就多了一块网卡，并且拥有my_net1这个交换机中IP地址。在上述的配置中，box2不但可以和box3进行通信，也是可以和box4进行通信的，因为它们都是连接在了my_net1这个“交换机”上。

注意：

• 容器之间可以使用容器名进行通信，但前提使用的是自定义的网络，如上面的my_net1、my_net2；
• 如果在创建自定义网络的同时，指定了该网络的网段，那么，使用此网络的容器也可以指定容器的IP地址，若没有指定该网络的网段，则不可以指定容器的IP地址。

二、部署consul服务实现Docker容器跨主机通信

consul：数据中心的含义，可以将其当做数据库来理解，类似于Redis等非关系型数据库，采用的是键-值对的方式，存放着各个容器的IP及端口信息。

我对consul服务的了解也不是太多，若想要详细了解此服务，还是参考其他文档吧，若以后有机会，我会详细写下来consul这个服务。

consul的功能很强大，可以以群集的方式运行，并且具备健康监测等功能。

下面开始配置consul服务。

1、环境准备如下：

• Docker服务器三台，我这里的docker版本为18.09.0；
• 第一台Docker服务器的IP是192.168.20.7，其运行consul服务；
• 后两台为测试端，只需要有docker环境即可。

若需要安装部署Docker服务器，可以参考博文：Docker的安装详细配置 。

2、第一台Docker服务器配置如下：

[root@docker ~]# docker pull progrium/consul          #下载consul镜像
[root@docker ~]# docker run -d -p 8500:8500 -h consul --name consul --restart=always progrium/consul -server -bootstrap
#运行consul容器，该服务的默认端口是8500，“-p”：表示将容器的8500端口映射到宿主机的8500端口
#“-h”：表示consul的主机名；“--name consul”表示为该容器名；“--restart=always”表示可以随着docker服务的启动而启动；
#“-serve -bootstarp”：表示当在群集中，加上这两个选项可以使其以master的身份出现
[root@docker ~]# netstat -anput | grep 8500   #确定8500端口在监听
tcp6       0      0 :::8500                 :::* 

OK，至此，单节点的consul服务就完成了，现在切换至第二台Docker服务器。

3、第二台Docker服务器配置如下：

[root@docker02 ~]# vim /usr/lib/systemd/system/docker.service  #编辑docker主配置文件
         ..............#省略部分内容，搜索“Start”定位到下面配置行，修改如下：
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://0.0.0.0:2376 --cluster-store=consul://192.168.20.7:8500 --cluster-advertise=ens33:2376
#各项解释如下：
#/var/run/docker.sock：Docker的一个编程接口
# “ -H tcp://0.0.0.0:2376 ” ：使用本机的tcp2376端口；
# “ --cluster-store=consul://192.168.20.7:8500”：指定运行着consul服务的第一台docker服务器IP及端口；
# “ --cluster-advertise=ens33:2376”：从本机的ens33网卡通过2376端口搜集网络信息，存储在consul上
#修改完成后，保存退出即可。
[root@docker02 ~]# systemctl daemon-reload    #重新加载配置文件
[root@docker02 ~]# systemctl restart docker    #重启docker服务

4、然后在第三台docker服务器上，进行与第二台Docker服务器一样的配置操作，主要是为了指定consul服务的监听端口。（自行配置，这里就不写了，记得更改完成后，重启docker服务）

5、现在使用浏览器访问consul服务的web页面（访问：192.168.20.7:8500），如下：

即可看到用来测试的那两台docker服务器IP等相关信息，如下：

6、回到第二台Docker服务器上，创建一个overlay网络：

[root@docker02 ~]# docker network create -d overlay my_olay         #创建一个名字为my_olay的voerlay网络 

7、切换至第三台Docker服务器上，发现可以看到刚刚在第二台Docker服务器上创建的overlay网络：

[root@docker03 ~]# docker network ls     #查看docker03的网络，发现其不但有overlay网络，
#而且其SCOPE（范围）是global（全局的）
NETWORK ID          NAME                DRIVER              SCOPE
8d5b00cf07ab        bridge              bridge              local
17c053a80f5a        host                host                local
c428fc28bb11        my_olay             overlay             global
323935eaa5c3        none                null                local

其实，现在在第二台Docker服务器上基于刚刚创建的overlay网络运行一个容器，在第三台Docker服务器上也基于这个overlay网络运行一个容器，这两个在不同主机上的容器是可以互通的，如下：

##################第二台Docker服务器上配置如下：###########################
[root@docker02 ~]# docker run -tid --name web01 --network my_olay busybox    #基于网络my_olay运行一个容器web01
[root@docker02 ~]# docker exec web01 ip a         #查看其IP信息，发现其除了回环地址，还有两个IP
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
8: eth0@if9: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue 
    link/ether 02:42:0a:00:00:02 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.2/24 brd 10.0.0.255 scope global eth0     #这个地址就是my_olay给的
       valid_lft forever preferred_lft forever
11: eth2@if12: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:12:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.18.0.2/16 brd 172.18.255.255 scope global eth2  
       valid_lft forever preferred_lft forever
##################第三台Docker服务器上配置如下：###########################
[root@docker03 ~]# docker run -tid --name web02 --network my_olay busybox     #基于网络my_olay运行一个容器web02
[root@docker03 ~]# docker exec web02 ip a     #查看web02的IP
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
8: eth0@if9: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue 
    link/ether 02:42:0a:00:00:03 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.3/24 brd 10.0.0.255 scope global eth0            #这个地址就是my_olay给的
       valid_lft forever preferred_lft forever
11: eth2@if12: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:12:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.18.0.2/16 brd 172.18.255.255 scope global eth2
       valid_lft forever preferred_lft forever
#########在第二台Docker服务器上对第三台Docker服务器上的容器进行ping测试##########
[root@docker02 ~]# docker exec web01 ping web02      #确定可以ping通
PING web02 (10.0.0.3): 56 data bytes
64 bytes from 10.0.0.3: seq=0 ttl=64 time=1.091 ms
64 bytes from 10.0.0.3: seq=1 ttl=64 time=1.007 ms

———————— 本文至此结束，感谢阅读 ————————