使用 pot 和 nomad 管理 Jail
最后更新于
最后更新于
原链接：
作者：LUCA PIZZAMIGLIO
译者：段龙甫
在许多服务器上，尤其是分发水平可扩展应用方面，容器是个卓越的工具。当应用数量和它们的基数增长时，手工管理数量众多的容器将会变得困难起来。
容器管理器是一个旨在简化众多容器管理，遮蔽复杂性，提高可靠性的应用程序，特别是在一个自动伸缩和持续部署的动态环境中。在本文中，我们将讨论基于 FreeBSD，使用 pot(一个支持 jail 镜像的 jail 框架)，和 nomad(一个由 HashiCorp 开发的与容器无关的管理器)。
为了解释管理器是如何工作的，我们需要介绍一些服务并说明他们的角色。
nomad 客户端就是一个服务器，接收来自管理器的命令去执行容器。Nomad 客户端也被称为节点，就像 kubernetes 一样。
在大型设备中，大多数服务是 nomad 客户端，他们负责执行用户的应用程序。在云本地术语中，nomad 客户端在集群中构成数据平面。
Nomad 客户端能支持多种容器驱动：一些驱动与操作系统无关，当其它驱动程序，像 docker 或 pot，仅在特定操作系统可用。
为了使用 pot 管理 FreeBSD 上的 Jail，我们需要基于 FreeBSD 的 nomad 客户端。
nomad 服务器是实现管理器的机器。nomad 服务器负责保持集群状态和调度容器到 nomad 客户端。需要多实例（3 到 5 个）提供冗余并共享负载。在云本地术语中，nomad 服务器在集群中构成控制平面。
用户与 nomad 服务器交互，部署应用到集群。nomad 服务器负责保持集群的正常状态，并在客户端出现错误时重新调度容器。
Nomad 服务器能运行在任何提供支持的操作系统。要管理 jail，至少有一个 nomad 客户端是基于 FreeBSD 的。
管理器（nomad 服务器）是集群的大脑，分配容器给支持容器类型的客户端。这意味着：
任何 nomad 客户端能选择运行支持的容器。
客户端事先不知道容器在哪个主机。
单个客户端能执行同一个容器的多个实例。
每个客户端都需要一个服务来执行下载容器镜像。这个需求在容器注册中心来满足，提供容器镜像的服务。
当一个管理器选择一个客户端来执行一个容器，该客户端将从注册中心下载容器镜像，然后启动容器。
在我们的例子中，我们将使用 potluck，一个由 pot 社区维护的公共容器注册表，从开放源代码目录的镜像库创建镜像。但是，由于容器镜像包含二进制文件，出于安全考虑，我们强烈建议每个人拥有自己的本地注册表。
在 pot 容器中，镜像是通过 fetch(1) 下载的文件，因此注册表可以是一个简单的 web 服务器。
服务目录是一个被附加的信息增强的服务列表，如实现那些服务所有的容器地址。
当一个管理器调度容器满足服务，它也会将容器地址注册到实现该服务的容器列表中。
也能将服务目录配置为定期检查所有容器的服务运行状态，因此容器地址列表只包括健康的地址。
我们要使用的服务目录基于 consul，一个服务网格应用，同样也是 HashiCorp 开发的。
因为管理器的动态特性，它很难获知服务在哪里运行。每次发生新的部署时，容器都被调度到不同端口上的不同节点。通过入口，我们定义一个代理/负载均衡器，配置一个固定的入口点给我们的服务。
对于一个实例，我们可以这样配置一个代理，网络地址（例如，https://example.com/foo）提供关于目标服务的信息（即重定向到实现服务 foo 的容器），另一种常见方法是提供主机头部信息。
入口代理通过不断地与服务目录交互，动态地维护有效容器地址列表。
对于我们的例子，我们使用 traefik（反向代理、负载均衡工具），一个 traefix 实验室开发的入口代理。
Nomad 的构建支持多个容器的技术和不同于操作系统。事实上，nomad 软件包是可用的，HashiCorp 公司也为 FreeBSD 提供二进制包。
管理器将工作负载调度到使用插件与 pot 交互的客户端。
图片：体系结构概述和不同服务的文件。
Minipot 是一个在一台 FreeBSD 机器上安装和配置所有上述服务的包，也是我们使用它来展示例子的参考安装。
Minipot 对于测试是个很有用的配置，但不适用于专业安装，因为它将把所有服务集中在一台机器上，将集群减少到一个节点来完成所有工作。
特别是，它将安装和配置 consul、traefik 和 nomad。Nomad 将作为客户端和服务器运行，扮演管理者和执行者的双重角色。
minipot 初始化后，并且所有服务正在运行，我们就可以使用下面的任务说明文件在 nomad 中启动一个任务。
上述任务段落说明了 nomad 调度任务所需的所有细节。
任务“nginx-minipot” (第 1 行) 有一个组名“group1” (4),它有一个任务叫做“www1” (9)。
任务“www1”是一个 pot 容器 (10),注册镜像是 potluck(23),pot 镜像是 nginx(24)，版本是 1.1.13 (25)。规定任务是基于 pot 驱动，管理器将在 pot 支持的客户端调度这个任务。在我们的例子中，服务器和客户端都是相同的机器。
与通常使用的使用 rc 脚本引导的 Jail 相比，我们将直接执行 nginx(26),不需要任何额外的服务。变量参数 (27) 是重要的，允许 nomad 服务恰当地遵循容器生命周期并捕捉日志。Pot 将负责初始化网络和任何需要的事情。
port_map 段 (28) 和网络段 (6) 告诉 nginx 在 jail 中监听 80 端口，但 nomad 客户端将使用另一端口 (“http”),被 nomad 服务器动态指派。
服务段 (11) 提供 nomad 服务将注册服务到 consul 的信息。在我们的例子中，任务“www1”实现了服务“hello-web” (11)，它将使用 nomad 服务器分配的端口“http”(14) 注册到 consul。对于 IP 地址，nomad 服务器将使用在调度期间定义的 nomad 客户端 IP 地址。
在我们的例子中，任务还配置了一个 tcp 健康检查，consul 将每 5 秒钟运行一次该检查，以确定实例的健康状况。
这个任务说明需要被保存成一个文件（即 nginx.job），任何用户能通过服务运行。
注意：第一次部署需要一些时间，因为客户端需要下载镜像。在连接缓慢的情况下，第一次部署还可能因为超时而失败。下载完成后，可以安全地重新运行将在几秒钟内执行的部署。
任务被调度后，就可以通过命令检查部署状态：
“Allocation”是 nomad 用来标识容器（任务的实例）的名字。
IPv6 地址是 nomad 客户端地址。
22854 端口是 nomad 选择的端口，用于将 nomad 客户端引导到容器的 80 端口。
查看端口重定向设置，我们可以使用下面命令：
作为命令行的另一种选择，nomad 服务器也被配置为提供一个强大的 web UI，可以通过 localhost:4646 访问，我们可以看到“nginx-minipot”任务，导航到有关的集群，配置，客户端等等所有信息。
通过 nomad，我们能直接看到所有容器的状态。
进入配置页面，点击“执行”按钮启动 shell 脚本（/bin/sh）进入运行的容器中。
通过命令行，我们可以看到 consul 目录中的服务清单（consul 目录服务），但没有详细。但是，我们能通过访问 web UI 来检查“hello-web”服务的状态：
从这里，我们可以导航到检查“hello-web”服务和检查 tcp”的状态。
代理 traefix 被配置到交换机的 8080 端口，提供 web-ui 在 9200 端口（localhost:9200）监控状态。Traefik 被配置为从 consul 同步服务目录。
通过选择了 http 服务，我们查看“hello-web”服务（标记为 hello-web@consulcatalog）。
点击服务，我们查看服务明细和路由选项。
配置基于主机头，在我们的例子中是“hello-web.minipot”。
现在通过入口到达服务 hello-web：
或者，我们可以添加条目
到达 /etc/hosts 然后直接使用主机名：
我们将得到与直接从 jail 下载到的相同的输出。
要查看管理器的活动状态，我们现在简单地将任务文件（第 5 行）中的计数从 1 改成 2，并重新提交任务。
调度完成后，运行中的 nomad 配置是 2，consul 中的服务“hello-web”有两个实例，就像 traefik 中的服务器。
我们可以验证入口的循环分布
跟踪一个容器的日志 ($ nomad alloc logs -f allocation1)
跟踪其它容器的日志 ($ nomad alloc logs -f allocation2)
在入口执行 curl($ curl -H Host:hello-web.minipot http://127.0.0.1:8080)
在每次执行 curl 时，代理都会在容器之间分发请求，这可以从容器的日志中看出来。
为了停掉我们的例子，我们建议这样进行拆除操作：
停止 nomad 任务（$ nomad stop nginx-minipot）
停止 traefik（$ sudo service traefik stop）
停止 nomad（$ sudo service nomad stop）
停止 consul（$ sudo service consul stop）
Minipot 是一个有用的单节点安装的作为学习或本地测试的平台。
生产环境应以不同方式部署：
3 或 5 个不同的 consul 服务器
3 或 5 个不同的 nomad 服务器
2 入口代理服务器 (HA 配置)
几个 nomad 客户端服务器（取决于预期的工作负载和可靠性需求，如过度供应因素）
值得一提的是，前面提到的设置可以混合不同的操作系统：唯一必须运行 FreeBSD 的服务器是针对 jail/pot 工作负载的 nomad 客户端。
Nomad 或 consul 服务器可以在 Linux 或 Solaris 上运行，允许你重用可能已经可用基础设施。
作为入口代理，我们使用 traefik，与本地 consul 同步。但是，可以使用其它服务，如 nginx 或 ha-proxy，以及 consul-template 来实现相同的结果。在这种配置中，consul-template 负责监测 consul 的变更，呈现代理配置模板，并将新配置通知代理。
此外，所有服务的配置都需要改进，比如向 nomad 增加身份验证。
LUCA PIZZAMIGLIO 是 FreeBSD 项目的 port 提交者，还是 port 管理组成员。在 2017 年，他开始了 pot 项目，在 FreeBSD 上可以被理解为容器。
Nomad 有一个插件结构允许它扩展支持新的容器技术。Esteban Barrios 编写并开源了 。这个插件作为 nomad 客户端和 pot 容器之间的接口，提供管理 Jail 所需的特性。
在 上有一篇关于如何安装 minipot 的详细指南。
我想强调实现这一点所需要的社区的努力，从第一个 nomad-pot-driver 开发人员 Esteban Barrios 到 Michael Gmelin（grembo@），他们的确为提高该解决方案的可靠性和稳定性提供了提供很多帮助。我还想提及 Stephan Lichtenauer 和 Bretton Vine，他们参与了 Potluck，公共镜像注册，以及许多其它项目，如 Ansible 剧本和，致力于 pot 和 nomad 使用实例。