2022年LXC系列教程之三：LinuxContainer虚拟网络管理 .pdf

Linux 核心虚拟技术容器篇3-1 第三章 : Linux Container 虚拟网络管理3.1 内定虚拟网络 (lxcbr0, iptables, dnsmasq)对于虚拟（云端）系统平台来说，网络架构是否正确，联机功能是否正常，可是攸关整个虚拟（云端）系统平台能否发挥功能的重要关键，但早期的网络系统，大多利用网络硬件装置，如 实体的 Router 、Switch ，来串接各个网络区段的计算机群，或者是内部网络的链接，除了建置成本高昂之外，还需要投入不少人力在维护网络硬设备的运作，这对于一般中小企业来说，若要架设一个公司专属的私有云，在经费与人力上，都是沉重的负担。而若能善用Linux 原生的虚拟网络，就可以达到大部分私有云内部所需要的网络架构，这不只是可以大大节省网络硬设备的支出，更可以利用现有Linux 系统的管理人力，直接管控更多系统与网络的运作，让架构公司内部的私有云，成为了一种可能。不管是哪一套虚拟系统，只要是运作在Linux 系统架构之内，所使用的虚拟网络，就是Linux 系统原生的虚拟网络架构（TAP/TUP , Bridge ） ，LXC 也不例外，不过，这边我们不着重在介绍 Linux 原生的虚拟网络，而着眼在LXC 内建的虚拟网络架构。与 Linux KVM 相同， LXC 安装完成，预设就会产生一个IP 分享器（此IP 分享器包含以下功能： Bridge + DHCP Server + NAT + Cache DNS Server），也就是lxcbr0 ，这点，利用以下指令就可以得知：$ brctl show 由上图就可以明显看到lxcbr0 的相关信息，而这个IP 分享器，除了扮演Switch 的功能之外，默认也提供了NAT 与 DHCP 的功能，简单来说，就是lxcbr0 除了提供 Switch Hub 的 功能之外，也提供了DHCP Server 与 DNS Cache ， 再透过 iptables 启动 NAT 的功能，这由以下指令可以来证明：$ sudo iptables -t nat -L -n 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-2 由图中，可以发现在Linux iptables 的 NAT table 内，加入了一笔10.0.3.0/24 的信息在POSTROUTING Chain 之内，这笔信息，就是透过iptables 启动 NAT 转址的功能，让LXC 虚拟计算机可以利用内部的虚拟网络来与外部的因特网沟通。而至于 DHCP Server 与 DNS Cache 的功能，则是透过dnsmasq 这个套件来操控，这点，一样可以利用以下指令来看到dnsmasq 的功能：$ ps aux | grep dnsmasq 利用上述指令，就可以明显看到dnsmasq 启动时，就分别启用了DHCP 与 DNS Cache 的功能，让 LXC 虚拟计算机可以透过DHCP 的功能，取得一个内部网络的IP 地址，而所谓的DNS Cache ，简单来说，就是DNS Server ，所以， dnsmasq 也能够执行DNS Server 的功能，让 LXC 虚拟计算机能够透过此DNS Cache 的功能，顺利的执行域名解析功能。3.2 修改默认网络组态文件透过 ifconfig lxcbr0 的指令，可以得知LXC 内建 Bridge 的网络接口 ( lxcbr0) IP 地址，而由ps aux | grep dnsmasq的指令，也可以清楚看到DHCP Server 所派发的 IP 范围，名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-3 因此可以知道LXC 原生虚拟网络默认的IP 区段为 10.0.3.0/24 ，那么，这些信息，可以修改吗？当然可以，以上这些网络信息，是LXC 原生默认的网络设定组态，所以可以透过修改组态档的方式，来修改相关信息，以符合实际应用的状况，可以利用任一编辑器来开启LXC 的网络组态文件：$ sudo vim /etc/default/lxc 开启档案后，在档案的最后面，就可以看到网络组态的相关设定值：那这边我们就尝试修改LXC 内建的网络组态，依照原先网络组态的设定格式，新增修改的网络组态设定值，并将原先的设定值给标注起来，如下图：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-4 设定完成之后，将实体计算机（Host OS ）重新启动，或者利用以下的指令，重新启动LXC 的网络服务，让LXC 虚拟系统可以套用新的网络组态文件, 命令如下：$ sudo service lxc-net restart LXC 的网络服务重新启动后, 原先 iptables 设定还保留 , 所以建议还是重新启动. 重新启动之后，一样利用以下指令，来查看LXC 虚拟系统是否已经套用新的网络组态设定值：$ ifconfig lxcbr0 $ ps aux | grep dnsmasq 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-5 由图中就可以明显看到，不管是lxcbr0 的网络组态，或者是DHCP Server 的 IP 派发范围，都完整套用刚刚我们手动指定的网络组态设定值，因此，若再实际运用上，对于IP 地址与DHCP Server 的相关设定有需求时，就可以利用修改网络组态文件的方式，以符合实际的需求。测试异动后的网 络组态虽然利用上述指令的方式，可以查询到lxcbr0 与 DHCP Server 的网络相关设定都已经套用新的设定值，但实际上，LXC 内的虚拟计算机，是否也能够取得正确的网络设定值呢？首先，利用以下指令来启动LXC 虚拟计算机：$ sudo lxc-start -n myUS1204 -d（将 LXC 虚拟计算机丢到背景执行）$ sudo lxc-console -n myUS1204（利用Console 的联机方式，进入在背景执行的虚拟计算机）登入计算机之后，再利用以下指令来查询myUS1204 这台虚拟计算机的网络设定：$ ifconfig -a 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-6 由图中可以看到， myUS1204 这台虚拟计算机，由DHCP Server 取得的 IP 地址为10.0.100.216 ，正好落在刚刚配置文件内，指定DHCP Server 派发的 IP 位置范围之内，而这也再次证实了，修改后的网络组态文件，可以完整套用到LXC 的系统之内。但内部网络是否能够相互沟通呢？我们可以再利用sudo lxc-create -t ubuntu -n ubuntu1204 的指令，产生另外一台名称为ubuntu1204 的 LXC 虚拟计算机，开机之后，一样先利用ifconfig -a 的指令，查看ubuntu1204 这台虚拟计算机的网络组态：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-7 由图中，可以清楚的看到，默认LXC 虚拟计算机是透过dnsmasq 这个套件所产生的DHCP Server ，取得相关的网络设定值，而在前面的步骤中，我们手动将DHCP Server 派发的IP 地址范围调整为10.0.100.200 10.0.100.250 ，图中的信息，也确实显示所取得的IP 地址是落在此范围内。现在尝试手动设定ubuntu1204 这台 LXC 虚拟计算机的IP 地址，利用任一编辑器开启网络组 态配置文件：$ sudo vim /etc/network/interfaces 档案开启之后，将原本预设的dhcp ，修改为 static ，也就是手动指定网络组态，并将相关设定值设定好，如下图：设定好之后，可以重新启动，或是利用以下指令来重新套用网络设定值：$ sudo /etc/init.d/networking restart 网络重新套用之后，一样利用ifconfig -a 的指令，来看看手动设定的网络组态是否有套用上去：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-8 确认手动指定的IP 地址正确套用之后，利用以下指令，来确认内部网络是否可以正常链接：$ ping -c 3 10.0.100.216（此为第一台LXC 虚拟计算机，也就是myUS1204 的 IP 地址）有上图可以看到，内部网络可以正常沟通链接，那外部网络（因特网）呢？一样可以利用以下指令来确认：$ ping -c 3 168.95.1.1 $ ping -c 3 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-9 我们可以发现，不只可以连结到因特网，连网址也都可以ping 到，这也表示dnsmasq 套 件的DNS Cache （DNS Server ）的功能是可以正常运作的。3.3 使用 (连接) 自定的 Bridge虽然 LXC 原生的虚拟网络提供了一个功能完整的IP 分享器（ Bridge 、DHCP Server 、DNS Cache 、NAT） ，但可能在某些实际的状况下，我们并不需要，可能也不希望提供如此完整的网络功能，例如，当我们需要一个封闭的网络区段来做测试环境时，在不修改、异动LXC 原生网络设定的前提之下，若直接使用LXC 原生的网络架构，并无法提供我们所需要的网络环境。所以，若使用LXC 架构的虚拟计算机，且还要达到如上述情境的网络架构（封闭的网络区段），则势必是需要另外再产生一个封闭的网络区段，那该怎么做呢？其实，就只需要另外产生一个 Bridge ，就可以将测试环境内的虚拟计算机，全部整合在此Bridge 的封闭网络区段内，而具体的步骤如下：步骤 1：手动建立Bridge这边所谓的手动产生Bridge ，就是利用Linux 内建的虚拟网络，来建立一个Bridge 网络设备，这就需要安装bridge-utils 这个桥接（ Bridge ）套件，不过，因为最初在安装LXC 的时候，预设就会将此套件安装到系统之内，所以就可以直接使用，而建立 Bridge 的指令如下：$ sudo brctl addbr br01 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-10 其中， br01就是手动新增Bridge 的名称，可以自定义，建立之后，利用以下指令来检视系 统 Bridge 接口的信息：$ brctl show 由图中就可以清楚看到，手动产生的br01 与 LXC 原生虚拟网络中的lxcbr0 ，同样都是属于Bridge 网络设备，而因为目前并没有启动任何一台虚拟计算机，所以两个Bridge 网络设备后 方 interface 的字段都是空白的。手动产生 br01 这个 Bridge 网络设备之后，要使用之前，必须先将此网络设备启动，启动的指令如下：$ sudo ifconfig br01 0.0.0.0 up（或者， sudo ifconfig br01 up也是一样的）Bridge 网络设备启动之后，在利用指令来查看接口的启动状态：$ ifconfig br01 确认 Bridge 网络设备启动之后，接下来就可以准备将虚拟计算机给加入（链接）到此Bridge 网络设备。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-11 步骤 2：修改 LXC 虚拟计算机的配置文件修改 LXC 虚拟计算机的配置文件，主要是为了修改默认使用的Bridge 网络设备，那LXC 虚拟计算机的配置文件，是放在什么地方呢？可以利用以下指令，来清楚看到LXC 虚拟计算机的档案结构：$ tree -L 2 /var/lib/lxc 由图中可以看到，目前笔者的实体计算机（Host OS ）内，拥有三台LXC 虚拟计算机，名称分 别为 myUS1204 、 myUS1204BAK 与 ubuntu1204 ，其中，每台LXC 虚拟计算机内的config ，就是虚拟计算机的配置文件。用任一编辑器开启config 配置文件，记得，开启此档案需要有超级管理员的权限，档案开 启之后，其内容如下图所示：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-12 配置文件内定义了非常多的设定值（参数），在这边我们将焦点放在work 的字符串上面，而此字符串后面挂载的设定值，都是跟网络相关的设定信息，例如，work.hwaddr后面的信息，就是此LXC 虚拟计算机内，（虚拟）网络卡的Mac Address 。因为我们要使用自定义的Bridge 网络设备 (br01) ，所以，要关注的地方，就是work.link 这个字段的设定值，系统默认使用的就是LXC 内建虚拟网络的Bridge 网络设备，也就是 lxcbr0 ，这边，可以直接将lxcbr0 修改为我们自定义的br01 ，或 者是直接将此行备注起来，再重新写一行新的信息，另外，因为我们并没有利用dnsmasq 这个套件来让 br01拥有 DHCP Server 的功能，所以连接br01这个 Bridge 网络设备的虚拟计算机，开机之后是无法取得IP 等相关的网络信息，因此，需要再加入work.ipv4 = 172.16.100.100/24这行 IP 地址宣告，给链接在br01上的 LXC 虚拟计算机来使用，如下图所示：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-13 修改完成之后，存盘后退出配置文件，就完成了LXC 虚拟计算机网络设定参数的修改。步骤 3：测试内 部网络联机配置文件设定完成且存盘之后，接下来就将此LXC 虚拟计算机开机，不过，开机之后，要登入LXC 虚拟计算机的时候，可能会遇到如下图的状况，然后会维持一小段时间（约23 分钟）而无法登入 LXC 虚拟计算机：这是怎么一回事呢？其实原因在于系统开机的过程中，会去检测网络状况，并尝试由DHCP Server 取的网络相关设定值，但是因为br01是手动设定的Bridge 网络设备，也没有利用dnsmasq 这个套件来让 br01 拥有 DHCP Server 的功能，所以操作系统在开机的过程中，就会花费时间在这检测的过程中，系统因此会有开机延迟的状态。登入系统之后，马上查询LXC 虚拟计算机的网络设定：$ ifconfig -a 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-14 由图中可以明显看到， myUS1204 这台 LXC 虚拟计算机的网络IP 地址，就是刚刚在config 配置文件内写入的IP 地址。不过，若只有一台虚拟计算机，实在也看不出br01这个Bridge 网络设备的功能，所以在 这边就在利用相同的方式，来修改另外一台LXC 虚拟计算机的 config 配置文件，并将 IP 位 址指定为 172.16.100.200/24 ，如下图：将此 LXC 虚拟计算机开机之后，一样利用ifconfig -a 的指令，来查看IP 设定值有无设定 成功：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-15 确认两台虚拟计算机的IP 设定值都有成功设定之后，接下来，也就是验证br01是否有好 好扮演 Bridge 网络设备的功能，验证的方式，就是两台LXC 虚拟计算机互相ping 对方的 IP 地址：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 15 页，共 21 页 - - - - - - - - - Linux 核心虚拟技术容器篇3-16 ping 对方都有响应，就表示br01 这个 Bridge 网络设备，成功的将这两台LXC 虚拟计算机 给 Bridge 在一起了。另外，也可以利用以下指令，来查询两台LXC 虚拟计算机的（虚拟）网络卡，是否确实与br01给桥接（ Bridge ）在一起：$ brctl show 查询之后，可以清楚看到br01在 interfaces 的字段上，有两笔信息，而这也正是这两台启动的LXC 虚拟计算机的（虚拟）网络卡，而因为我们并没有特别替LXC 虚拟计算机准备 手动设定的（虚拟）网络卡，所以LXC 虚拟系统在虚拟计算机启动之后，会指定一张Tap 虚 拟网络卡给LXC 虚拟计算机使用，名称则是随机产生的。利用这种方式，就可以很轻易的就建构出一个独立的封闭网络区段来当做测试区，也就不会受到外部网络影响，或者是影响到外部网络的运作了，最重要的是，不需要真的特意再准备一台硬件的 Bridge 网络设备 ，不但省电、省力、省钱，还省空间呢！名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 16 页，共 21 页 - - - - - - - - - Linux 極速虛擬系統首戰班3-17 3.4 自定 IP 分享器检视与设定 Bridge 网络设备知道了如何手动建立一个具有封闭网络功能的Bridge 网络设备，并且可以藉由Bridge 的功能，让链接到此Bridge 网络设备上的LXC 虚拟计算机，都可以相互沟通联机。然而，无非是有特殊的需求，或是安全性上的考虑，在大部分的情形之下，Bridge 网络设备内的 LXC 虚拟计算机，还是有链接到因特网的需求，例如，系统更新，上传或下载数据. 等，而Bridge 网络设备若能提供这样的功能，差不多就可以称之为IP 分享器了。是的，现在我们就要来加强Bridge 网络设备的功能，让他摇身一变，变身为IP 分享器，而在进行任何设定之前，先利用以下指令来查看目前Bridge 网络设备的信息：$ brctl show br01就是我们手动建立的Bridge 接口，也就是Bridge 网络设备的主体，而在interfaces 的字段上，可以看到有两张虚拟网络卡链接在此Bridge 网络设备上，这表示目前有两台 LXC 虚拟计算机链接到此Bridge 网络设备上面，且正处在开机状态。再利用 ifconfig br01 来查看 br01 的网络组态：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 17 页，共 21 页 - - - - - - - - - Linux 極速虛擬系統首戰班3-18 这边可以看到， br01 是启动的状态，但是却没有任何的网络设定组态，原因在于当初设定（建立） br01 的时候，只希望提供Bridge 网络设备 的功能，也就是让链接到此Bridge 网 路设备上的 LXC 虚拟计算机可以相互沟通联机，因此，只需要此接口启动，提供Bridge 的功 能即可。不过，现在要将Bridge 网络设备升级为IP 分享器， br01 可就不只是提供Bridge 网络设备的功能，还要负担对因特网沟通的窗口，也就是 Default Gateway ，因此就必须帮br01 设定一组 IP 地址，指令如下：$ sudo ifconfig br01 172.16.100.254 up（若 br01 已经启动了，就可以省略up 的参数）启动 NAT 转址功能名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 18 页，共 21 页 - - - - - - - - - Linux 極速虛擬系統首戰班3-19 由于 Switch Hub 原本是将所有连结在上面的LXC 虚拟计算机，设定在一个封闭的网络区段内，也因此，每台LXC 虚拟计算机都是利用私有IP 在相互连结，但若是需要与因特网连结，那势必就需要透过NAT 转址的方式，让封闭网络内的LXC 虚拟计算机，可以链接到因特网上面。而在 Linux 系统内，要实现NAT 转址的功能，当然就需要透过iptables 才行，也因此，要让 br01 这个 Bridge 网络设备 内的 LXC 虚拟计算机可以够过NAT 转址的方式连结到外部网 路，需要设定的指令如下：$ sudo iptables -t nat -A POSTROUTING -o eth0 -s 172.16.100.0/24 -j MASQUERADE 输入完成，按下Enter 键之后，再利用以下指令来查询设定值是否正确：$ sudo iptables -t nat -L -n 确认设定值设定无误之后，就完成了NAT 转址功能的设定。设定预设网关（ Default Gateway）NAT 转址功能设定完成之后，LXC 虚拟计算机就可以上网了吗？当然还不行，还需要回到LXC 虚拟计算机内，针对虚拟计算机的系统做点设定才可以。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 19 页，共 21 页 - - - - - - - - - Linux 極速虛擬系統首戰班3-20 那要在 LXC 虚拟计算机内设定什么呢？其实，就是要设定default gateway ，因为最初我们 只有在虚拟计算机的config 档案内，指定IP 地址，且最初因为LXC 虚拟计算机是处在内部 的封闭网络区段内，也并不需要刻意指定default gateway ，就可以让相同网络区段内的 LXC 虚拟计算机相互沟通，但是现在因为跟外部网网络（因特网）联机，这时就需要设定 对外联机的窗口 （ br01 ） ，也就是default gateway ，才能让整个网络线运作正常。在 LXC 虚拟计算机内设定default gateway 的指令如下：$ sudo route add default gateway 172.16.100.254 设定完成之后，再利用以下指令查看设定值是否正确：$ route -n 确认设定值正确写入之后，再另用以下指令，来检测是否可以链接到外部网络（因特网）：$ ping -c 3 168.95.1.1 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 20 页，共 21 页 - - - - - - - - - Linux 極速虛擬系統首戰班3-21 如上图，可以正确联系到外部网络，就表示Bridge 网络设备 已经变成一个IP 分享器了。文后，要提醒大家一下，因为最初我们是尝试在LXC 虚拟计算机内指定IP 地址，因此，除了 IP 地址之外，我们就没有再额外输入任何的网络设定值，像是Default Gateway ，也是直到 上面的步骤中，才手动再额外设定的，所以，若是现在改ping 网址（ 如 ping -c 3 .tw ） ，就会发现并无法ping 到指定的网址，而这只是因为没有设定DNS Server 而已，也因此，若是再此时，需要让LXC 虚拟计算机拥有完整的网络功能，最好的作 法，就是到回到LXC 虚拟计算机的系统内，直接修改/etc/network/interface的档案，设定 虚拟网络卡为static 的模式，并输入完整的网络设定值，重新启动网络之后，就可以拥有完整的网络功能了。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 21 页，共 21 页 - - - - - - - - -