玩坏docker笔记(二十二)：容器网络calico

0、准备工作

Calico 是一个纯三层的虚拟网络方案，Calico 为每个容器分配一个 IP，每个 host 都是 router，把不同 host 的容器连接起来。
与 VxLAN 不同的是，Calico 不对数据包做额外封装，不需要 NAT 和端口映射，扩展性和性能都很好。

Calico 优势：network policy
用户可以动态定义 ACL 规则，控制进出容器的数据包，实现业务需求。

实验环境描述
Calico 依赖 etcd 在不同主机间共享和交换信息，存储 Calico 网络状态。我们将在 host 10.12.31.21 上运行 etcd。
Calico 网络中的每个主机都需要运行 Calico 组件，提供容器 interface 管理、动态路由、动态 ACL、报告状态等功能。
实验环境如下图所示：

首先启动 etcd。

启动 etcd

在 host 10.12.31.21 上运行如下命令启动 etcd：

etcd -listen-client-urls http://10.12.31.21:2379 -advertise-client-urls http://10.12.31.21:2379 &

修改 host1 和 host2 的 Docker daemon 配置文件 /etc/systemd/system/docker.service.d/10-machine.conf， 连接 etcd：

--cluster-store=etcd://10.12.31.21:2379

重启 Docker daemon。

systemctl daemon-reload
systemctl restart docker.service

1、部署 calico

下载 calicoctl：

wget -O /usr/local/bin/calicoctl https://github.com/projectcalico/calicoctl/releases/download/v1.0.2/calicoctl

chmod +x calicoctl

在 host1 和 host2 上启动 calico：

calicoctl node run --config /etc/calico/calicoctl.cfg

指定配置文件：/etc/calico/calicoctl.cfg

启动过程如下：

1）设置主机网络，例如 enable IP forwarding。

2）下载并启动 calico-node 容器，calico 会以容器的形式运行（与 weave 类似）。

3）连接 etcd。

4）calico 启动成功。

创建 calico 网络

在 host1 或 host2 上执行如下命令创建 calico 网络 cal_ent1：

docker network create --driver calico --ipam-driver calico-ipam cal_net1

–driver calico 指定使用 calico 的 libnetwork CNM driver。
–ipam-driver calico-ipam 指定使用 calico 的 IPAM driver 管理 IP。

calico 为 global 网络，etcd 会将 cal_net1 同步到所有主机。

在calico中运行容器

在 host1 中运行容器 bbox1 并连接到 cal_net1：

docker container run --network cal_net1 --name bbox1 -tid busybox

查看 bbox1 的网络配置

cali0 是 calico interface，分配的 IP 为 192.168.119.7。cali0 对应 host1 编号 7 的 interface cali865e6869b8a

host1 将作为 router 负责转发目的地址为 bbox1 的数据包

所有发送到 bbox1 的数据都会发给 cali865e6869b8a，因为 cali865e6869b8a 与 cali0 是一对 veth pair，bbox1 能够接收到数据。
host1 网络结构如图所示：

接下来我们在 host2 中运行容器 bbox2，也连接到 cal_net1：

docker container run --network cal_net1 --name bbox2 -tid busybox

IP 为 192.168.183.70

host2 添加了两条路由：

1、目的地址为 host1 容器 subnet 192.168.119.0/26 的路由。
2、目的地址为本地 bbox2 容器 192.168.183.70 的路由。
同样的，host1 也自动添加了到 192.168.183.64/26 的路由。

calico默认连通性

相同calico 网络之间的连通性

测试一下 bbox1 与 bbox2 的连通性：

ping 成功，数据包流向如下图所示。

1）根据 bbox1 的路由表，将数据包从 cal0 发出。

2）数据经过 veth pair 到达 host1，查看路由表，数据由 ens192 发给 host2（10.12.31.23）。

  192.168.183.64/26 via 10.12.31.23 dev ens192  proto bird

3）host2 收到数据包，根据路由表发送给 cali95e23ca6529，进而通过 veth pair cali0 到达 bbox2。

  192.168.183.70 dev cali95e23ca6529  scope link

不同 calico 网络之间的连通性

创建 cal_net2

docker network create --driver calico --ipam-driver calico-ipam cal_net2

在 host1 中运行容器 bbox4，连接到 cal_net2：

docker container run --network cal_net2 --name bbox4 -tid busybox

calico 为 bbox4 分配了 IP 192.168.119.9

验证 bbox1 与 bbox4 的连通性

虽然 bbox1 和 bbox4 都位于 host1，而且都在一个 subnet 192.168.119.0/26，但它们属于不同的 calico 网络，默认不能通行。

calico 默认的 policy 规则是：容器只能与同一个 calico 网络中的容器通信。

calico 的每个网络都有一个同名的 profile，profile 中定义了该网络的 policy。

查看 cal_net1 的 profile：

calicoctl get profile cal_net1 -o yaml

1）命名为 cal_net1，这就是 calico 网络 cal_net1 的 profile。

2）为 profile 添加一个 tag cal_net1。注意，这个 tag 虽然也叫 cal_net1，其实可以随便设置，这跟上面的 name: cal_net1 没有任何关系。此 tag 后面会用到。

3）egress 对从容器发出的数据包进行控制，当前没有任何限制。

4）ingress 对进入容器的数据包进行限制，当前设置是接收来自 tag cal_net1 的容器，根据第 1）步设置我们知道，实际上就是只接收本网络的数据包，这也进一步解释了前面的实验结果。

定制 Calico 网络 Policy

Calico 默认的 policy 规则是：容器只能与同一个 calico 网络中的容器通信。

Calico 能够让用户定义灵活的 policy 规则，精细化控制进出容器的流量

实践一个场景：

1、创建一个新的 calico 网络 cal_web 并部署一个 httpd 容器 web1。

2、定义 policy 允许 cal_net2 中的容器访问 web1 的 80 端口。

首先创建 cal_web

docker network create --driver calico --ipam-driver calico-ipam cal_web

在 host1 中运行容器 web1，连接到 cal_web：

docker container run --network cal_web --name web1 -d httpd

web1 的 IP 为 192.168.119.10

目前 bbox4 还无法访问 web1 的 80 端口

创建 policy 文件 web.yml，内容为：

1）profile 与 cal_web 网络同名，cal_web 的所有容器（web1）都会应用此 profile 中的 policy
2）ingress 允许 cal_net2 中的容器（bbox4）访问
3）只开放 80 端口

应用该 policy。

calicoctl apply -f web.yml

现在 bbox4 已经能够访问 web1 的 http 服务了
不过 ping 还是不行，因为只放开了 80 端口

定制IP池

首先定义一个 IP Pool，比如：

calicoctl create -f ipPool.yml

用此 IP Pool 创建 calico 网络。

docker network create --driver calico --ipam-driver calico-ipam --subnet=17.2.0.0/16 my_net

此时运行容器将分配到指定 subnet 中的 IP
也可以通过 --ip 为容器指定 IP，但必须在 subnet 范围之内