FreeBSD 中文社区
搜索
⌃K
Links

第 21.12 节 高级教程：Linux 兼容层与 Jail

概述

网络设定

文中会把所有 jail 绑定到虚拟接口 lo1 上，所有的 jail 相当于处于 FreeBSD 下的一个局域网，FreeBSD 主机相当于这个局域网的网关。所有 jail 的网络活动须经过 lo1 网络接口，所以要使用网络就要做网络转发，这里使用 pf 完成这个工作。 这是网络访问的关键 。

准备网络接口

# sysrc cloned_interfaces+="lo1" # 增加一个克隆的网络接口 lo1
# service netif cloneup # 启用克隆的网络接口
编辑 /etc/pf.conf
pf 防火墙的配置这里提供两种方式，请根据需要选取。
方法一：
table <jails> persist
nat pass on em0 inet from <jails> to any -> em0
在防火墙中建立名为 jails 的表，并指定 persist 标志使防火墙总是保持这个表（即使没有相关的规则引用它）。表是 pf 防火墙的一种命名结构，可以保存地址和网络的集合。jails 表中的地址可以通过 NAT 访问网络。jails 表可以用 pfctl 进行增减以达到控制网络访问的目的。如 pfctl -t jails -T add 192.168.5.1 把192.168.5.1 加入 jails 表使其可以访问网络，pfctl -t jails -T delete 192.168.5.1 把 192.168.5.1 移出 jails 表使其不能访问网络。特点是手动管理麻烦，但灵活
方法二:
nat pass on em0 inet from 192.168.5.1 to any -> em0
直接在 /etc/pf.conf 中写下规则，允许 192.168.5.1 访问网络，特点是规则固化在配置中，没有特别的需求的话这个挺方便的

启用 pf 防火墙

无论你想不想使用防火墙，不这样设置你在 Jail 中都没有网络
# sysrc pf_enable=YES
# service pf start

加载必要的内核模块

# sysrc linux_enable=YES
# service linux start
这种方式自动完成 linux 兼容层各个模块的加载

准备目录

# mkdir /usr/jails # 用于保存建立 jails 的相关文件

创建 debian jail

下载基本系统

这里以 Debian 12(bookworm) 为例：
构建 Ubuntu/Debian
# pkg install debootstrap #安装 debootstrap
# chmod 0700 /usr/local/sbin/debootstrap # 赋予权限。
# mkdir -p /usr/jails/debian
# debootstrap bookworm /usr/jails/debian https://mirrors.ustc.edu.cn/debian/ #此处使用了 USTC 镜像站
示例输出，如下：
I: Retrieving InRelease
I: Retrieving Packages
I: Validating Packages
I: Resolving dependencies of required packages...
I: Resolving dependencies of base packages...
I: Checking component main on https://mirrors.ustc.edu.cn/debian...
I: Retrieving adduser 3.130
I: Validating adduser 3.130
I: Retrieving apt 2.5.5
I: Validating apt 2.5.5
...
I: Extracting usr-is-merged...
I: Extracting util-linux...
I: Extracting util-linux-extra...
I: Extracting zlib1g...
root@freebsd:/root #
注意 ：这里可能会提示有错误，无视即可。

创建 debian jail 实例

现在用 Debian 12 基本系统创建 jail 实例，命名为 debian。

建立实例的基本配置

创建 /etc/fstab.debian,内容如下：
devfs /usr/jails/debian/dev devfs rw 0 0
tmpfs /usr/jails/debian/dev/shm tmpfs rw,size=1g,mode=1777 0 0
fdescfs /usr/jails/debian/dev/fd fdescfs rw,linrdlnk 0 0
linprocfs /usr/jails/debian/proc linprocfs rw 0 0
linsysfs /usr/jails/debian/sys linsysfs rw 0 0
/tmp /usr/jails/debian/tmp nullfs rw 0 0
在 /etc/jail.conf 中,加入以下内容（没有该文件就自己建一个）：
debian { # jail 名
host.hostname = debian; # jail 的主机名
mount.fstab = /etc/fstab.debian; # jail 使用的 fstab ，启动/关闭 jail 时，挂载/卸载对应的文件系统
path = /usr/jails/debian; # jail 使用的根目录
devfs_ruleset = 4; # jail 挂载 devfs 的规则集的值，0 表示没有规则集，jail 会继承上级 jail 规则集，
# 只在启用allow.mount，allow.mount.devfs 且 enforce_statfs 小于 2 时可以挂载 devfs
enforce_statfs = 1; # 设置为 0 时，所有挂载点都是可用的，没有任何限制。
# 设置为 1 时，只有 jail 根目录之下的挂载点是可见的。
# 设置为 2(默认值)时，只能在 jail 目录所在的挂载点上操作，不能挂载 devfs、tmpfs 等。
allow.mount; # 允许挂载文件系统
allow.mount.devfs; # 允许挂载 devfs
exec.start = '/bin/true'; # 见下
exec.stop = '/bin/true'; # 见下
persist; # 允许 jail 在没有任何进程的情况下存活
allow.raw_sockets; # 允许 ping 等使用 raw socket,看需要写入
interface = lo1; # 使用 lo1 作为网络接口
ip4.addr = 192.168.5.1; # 使用的 ipv4 地址
ip6 = disable; # 禁用 ipv6
}
exec.start 指定启动 jail 时运行的命令，如果是 freebsd 做 jail 一般是 exec.start = 'sh /etc/rc' ,即使用 FreeBSD 的 rc 系统启动服务,但是 debian 中使用的是 systemd 作为 init 系统。jail 并不能使用 systemd ，所以不能使用相应的命令（ service 命令可用），所以在这里用 /bin/true 不做任何事安全的返回 true 就可以。问题就是（以 sshd 服务为例 ）在 debian jail 中启用 sshd 服务后（ service ssh start ）,如果重启 debian jail 那么 sshd 服务不会再次随 jail 启动而启动，这时可以写成 exec.start = 'service ssh start' ,这样启动 debian jail 时可以启动 sshd 服务，如果要启用更多的服务，则可以编写如下：
exec.start += 'service ssh start'
exec.start += 'service dbus start'
exec.stop 停止 jail 时运行的命令，如果是 freebsd 做 jail 一般是 sh /etc/rc.shutdown jail,这里同样因为 systemd 的原因用 /bin/true 安全的返回 true 就可以

启用实例并允许网络访问

启动 jail
# jail -c debian
停止 jail
# jail -r debian
在 pf 防火墙中的 jails 表中加入 jail 的地址，以允许 jail 访问网络
# pfctl -t jails -T add 192.168.5.1

更新系统

执行：
# jexec debian /bin/bash # 此时位于 FreeBSD！
Debian # apt remove rsyslog # 此时位于 Debian Jail!
Debian # apt update # 此时位于 Debian Jail!
或者使用
# jexec -l debian /bin/bash -c 'apt remove rsyslog'
# jexec -l debian /bin/bash -c 'apt update'
至此，一个基于 Debian 12 的 linux jail 已经成功建立，同样的方法可以建立基于 debian 和 ubuntu 各版本的多个 jail.

开机启动 jail

开机时启动 jail
# sysrc jail_enable=YES
默认启动所有 jail，另外 /etc/rc.conf 中 可以用 jail_list 变量指定在开机时启动的 jail 的名字
编辑 /etc/rc.conf 写入：
jail_list = "debian"
或执行 sysrc jail_list+=debian
如果 jail_list 变量为空,则启动所有在 /etc/jail.conf 中配置的 jail

创建 Ubuntu jail

ubuntu jail 建立方法同上,以 Ubuntu 22.04(jammy) 为例，

构建基本系统并配置

# mkdir -p /usr/jails/ubuntu
# debootstrap jammy /usr/jails/ubuntu https://mirrors.ustc.edu.cn/ubuntu/
创建 /etc/fstab.ubuntu,内容如下：
devfs /usr/jails/ubuntu/dev devfs rw 0 0
tmpfs /usr/jails/ubuntu/dev/shm tmpfs rw,size=1g,mode=1777 0 0
fdescfs /usr/jails/ubuntu/dev/fd fdescfs rw,linrdlnk 0 0
linprocfs /usr/jails/ubuntu/proc linprocfs rw 0 0
linsysfs /usr/jails/ubuntu/sys linsysfs rw 0 0
/tmp /usr/jails/ubuntu/tmp nullfs rw 0 0
在 /etc/jail.conf 中写入 ubuntu 的配置，如下：
ubuntu {
host.hostname = ubuntu;
mount.fstab = /etc/fstab.ubuntu;
path = /usr/jails/ubuntu;
devfs_ruleset = 4;
enforce_statfs = 1;
allow.mount;
allow.mount.devfs;
exec.start = '/bin/true';
exec.stop = '/bin/true';
persist;
allow.raw_sockets;
interface = lo1;
ip4.addr = 192.168.5.2;
ip6 = disable;
}

启用实例并允许网络访问

# jail -c ubuntu # 启用实例
如果已经在 /etc/rc.conf 中设置 jail_enable=YES,也可以用
# service jail start ubuntu
开机启动可以参考 debian jail ，执行 sysrc jail_list+=ubuntu
在 pf 防火墙中的 jails 表中加入 jail 的地址，以允许 jail 访问网络
# pfctl -t jails -T add 192.168.5.2 # 允许网络访问

更新系统

# jexec ubuntu /bin/bash # 此时位于 FreeBSD！
Ubuntu # apt remove rsyslog # 此时位于 Ubuntu Jail!
Ubuntu # apt update # 此时位于 Ubuntu Jail!
或者使用
# jexec -l debian /bin/bash -c 'apt remove rsyslog'
# jexec -l debian /bin/bash -c 'apt update'
过程和 debian jail 一样。

创建 AntiX linux jail

AntiX 基于 debian，并且不使用 systemd。

下载镜像文件并解压

先安装 squashfs-tools 以解压 linux 文件系统镜像。
# pkg install squashfs-tools
AntiX linux 提供四个镜像版本，full、base、core、net ，这里下载 core 版本：
# fetch https://mirrors.tuna.tsinghua.edu.cn/mxlinux-isos/ANTIX/Final/antiX-22/antiX-22_x64-core.iso
# mdconfig antiX-22_x64-core.iso
# mount -t cd9660 /dev/md0 /mnt
# mkdir -p /usr/jails/antix
# unsquashfs -d /usr/jails/antix /mnt/antiX/linuxfs
# touch /usr/jails/antix/dev/fd
# touch /usr/jails/antix/dev/shm

配置 Antix jail

创建 /etc/fstab.antix,内容如下：
devfs /usr/jails/antix/dev devfs rw 0 0
tmpfs /usr/jails/antix/dev/shm tmpfs rw,size=1g,mode=1777 0 0
fdescfs /usr/jails/antix/dev/fd fdescfs rw,linrdlnk 0 0
linprocfs /usr/jails/antix/proc linprocfs rw 0 0
linsysfs /usr/jails/antix/sys linsysfs rw 0 0
/tmp /usr/jails/antix/tmp nullfs rw 0 0
在 /etc/jail.conf 中写入(这里只展示 antix 相关部分)
antix {
host.hostname = antix;
mount.fstab = /etc/fstab.antix;
path = /usr/jails/antix;
devfs_ruleset = 4;
enforce_statfs = 1;
allow.mount;
allow.mount.devfs;
exec.start = '/etc/init.d/rc 3';
exec.stop = '/etc/init.d/rc 0';
persist;
allow.raw_sockets;
interface = lo1;
ip4.addr = 192.168.5.3;
ip6 = disable;
}
注意：这里 exec.start 设为 /etc/init.d/rc 3。在 debian jail 部分已经提到，debian 使用 systemd 做初始化系统，这在 jail 中不能使用，所以用 /bin/true 启动，以保证什么都不做，只是安全返回 true 值。antiX 不使用 systemd 做初始化系统，可以用 rc 进行初始化。在这里 /etc/init.d/rc 3 指定 antix jail 在启动时使用 rc 以第 3 运行级别初始化 jail。也就是在 debian jail 中提到的服务运行问题在这里并不存在（即可以直接在 jail 启动时运行服务，比如 sshd ）。

更新系统

设置开机启动，并启动
# sysrc jail_list+=antix
# jail -c antix # 或者使用 service jail start antix 前面已经提到
在 pf 中允许网络访问，方法同上。
# pfctl -t jails -T add 192.168.5.3
现在进入 jail ：
# jexec antix /bin/bash # 宿主机（FreeBSD）中
root@antix:/# echo "nameserver 223.5.5.5" > /etc/resolv.conf # jail 中，注意提示符变化，先设置地址解析，这里使用阿里 dns
root@antix:/# echo "APT::Cache-Start 90000000;" >> /etc/apt/apt.conf # `APT::Cache-Start` 是 apt 使用缓存的大小，默认 20m 太小，按提示增大
root@antix:/# apt update # 可以先修改 `/etc/apt/sources.list.d/` 中的文件以使用镜像站，请参考各镜像站中 debian 的镜像站设置
root@antix:/# apt upgrade
root@antix:/# mandb # apt upgrade 的时候显示 mandb 有几个权限错误，多执行几遍 `mandb` 命令就是。

创建 Alpine jail

# fetch http://mirrors.ustc.edu.cn/alpine/v3.17/releases/x86_64/alpine-minirootfs-3.17.1-x86_64.tar.gz
# mkdir -p /usr/jails/alpine
# tar zxf alpine-minirootfs-3.17.1-x86_64.tar.gz -C /usr/jails/alpine/
# touch /usr/jails/alpine/dev/shm
# touch /usr/jails/alpine/dev/fd
创建 /etc/fstab.alpine,内容如下：
devfs /usr/jails/alpine/dev devfs rw 0 0
tmpfs /usr/jails/alpine/dev/shm tmpfs rw,size=1g,mode=1777 0 0
fdescfs /usr/jails/alpine/dev/fd fdescfs rw,linrdlnk 0 0
linprocfs /usr/jails/alpine/proc linprocfs rw 0 0
linsysfs /usr/jails/alpine/sys linsysfs rw 0 0
#/tmp /usr/jails/alpine/tmp nullfs rw 0 0
在 /etc/jail.conf 中写入,
alpine {
host.hostname = alpine;
mount.fstab = /etc/fstab.alpine;
path = /usr/jails/alpine;
devfs_ruleset = 4;
enforce_statfs = 1;
allow.mount;
allow.mount.devfs;
exec.start = '/bin/true'; # minirootfs 里还没有初始化系统，所以还是用 '/bin/true'，下面会设置 openrc
exec.stop = '/bin/true';
persist;
allow.raw_sockets;
interface = lo1;
ip4.addr = 192.168.5.4;
ip6 = disable;
}
设置开机启动，并启动
# sysrc jail_list+=alpine
# jail -c alpine
在 pf 中允许网络访问，方法同上。
# pfctl -t jails -T add 192.168.5.4
现在进入 jail ：
freebsd # jexec alpine /bin/sh # 初始只有 sh ,注意 shell 提示符变化
alpine # sed -i 's/dl-cdn.alpinelinux.org/mirrors.ustc.edu.cn/' /etc/apk/repositories # 修改镜像地址
alpine # echo 'nameserver 223.5.5.5' >> /etc/resolv.conf # 初始没有这个文件，自建一个
alpine # apk update # alpine 可以不使用 openrc 而使用程序，但是不能启动各种服务，只有在安装 openrc 后才能启动各项服务，所以最好安装 openrc 以获得更好的体验
alpine # apk add openrc # 安装 openrc 作为初始化系统
alpine # mkdir /run/openrc
alpine # touch /run/openrc/softlevel # openrc 提示在 docker/chroot/jail 环境中应该建立这个文件
alpine # exit #注意 shell 提示符变化
freebsd # jail -r alpine # 先关闭 alpine ，以使在 freebsd 宿主机中进行 openrc 配置
修改 /etc/jail.conf 中 alpine 的配置：
alpine {
host.hostname = alpine;
mount.fstab = /etc/fstab.alpine;
path = /usr/jails/alpine;
devfs_ruleset = 4;
enforce_statfs = 1;
allow.mount;
allow.mount.devfs;
exec.start = '/sbin/openrc default'; # 此处修改，使用 openrc 作初始化系统，以 default 运行级初始化系统
exec.stop = '/sbin/openrc shutdown'; # 此处修改，使用 openrc 作初始化系统，以 shutdown 运行级运行关闭任务
persist;
allow.raw_sockets;
interface = lo1;
ip4.addr = 192.168.5.4;
ip6 = disable;
}
重新启动 alpine
# jail -c alpine

jail 中的 GUI

教程环境：Windows 10 物理机，在 virtualbox 安装了 FreeBSD 13.1 虚拟机。
FreeBSD 虚拟机中已部署 4 个 jail，如下,这里有一个 freebsd jail，为和 virtualbox 中的 FreeBSD 虚拟机作区分，将称其为 freebsd-jail
root@freebsd:~ # jls
JID IP Address Hostname Path
1 192.168.5.3 debian /usr/jails/debian
2 192.168.5.4 ubuntu /usr/jails/ubuntu
3 192.168.5.2 alpine /usr/jails/alpine
4 192.168.5.1 freebsd-jail /usr/jails/freebsd-jail
root@freebsd:~ #
4 个 jail 各自安装 xclock,firefox，chrome,jwm 这些软件在 freebsd-jail, debian ,ubuntu ,alpine( alpine 使用 vnc 方法不成功，其它方法 xclock，xterm 可运行，firefox 和 chrome 未成功)都有成功，jwm 用于美化。注意不用安装 xorg。
其中 ubuntu 22.04 中 firefox、chrome 要求用 snap 安装，snap 需要 systemd,不能使用，所以使用 deb 包安装。方法如下：
# wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
# dpkg -i google-chrome-stable_current_amd64.deb
# apt install ./google-chrome-stable_current_amd64.deb

带 X Server 的终端

这里使用 MobaXterm
MobaXterm 默认配置，不做多余配置。
确保 X server 已经启用，记下 DISPLAY 值 ，格式是 hostname:displaynumber.screennumber 这里是 192.168.56.1:0.0
登录 jail （不限方式，可以是 ssh ，可以是 jexec 进入，不限用户，可以是普通用户，不一定是 root、wheel 组成员）
$ export DISPLAY=192.168.56.1:0.0 # jail 中 ，这里是 sh/zsh/bash,csh/tcsh 可以是 setenv DISPLAY 192.168.56.1:0.0,以下不再说明
$ xclock&
4 个 xclock 可以独立显示在 win 10 桌面上，效果比较理想

内嵌 X Server

X Server 里的 X Server,这里使用 Xnest/Xephyr,Xnest/Xephyr 对 X11 应用来说是 X Server，对宿主 X Server 来说是 X Client。
宿主机里安装 Xnest 或 Xephyr 两者择其一即可
# pkg install Xnest
# pkg install Xephyr
FreeBSD 中启用
$ Xephyr :1 -listen tcp # 不需要 root 权限
  • :1 即上面提到了 DISPLAY 值中的 displaynumber ，FreeBSD 系统 ip 为 10.0.2.15，所以完整的 DISPLAY 值为 10.0.2.15:1.0。因为 FreeBSD 系统 X Server 的 displaynumber 值为 0，所以从 1 开始
  • -listen tcp 侦听 tcp 端口
在 4 个 jail 中，用上面相同的方法
$ export DISPLAY=10.0.2.15:1.0
$ xclock&
四个 jail 可以同时在 FreeBSD 开启的一个 Xnest/Xephyr 窗口中打开 xclock。但是此时的 xclock 因为没有窗口管理器，界面丑，且连最基本的拖动都做不到。可以在执行 xclock 前先执行 jwm，如下 。
$ export DISPLAY=10.0.2.15:1.0
$ jwm &
$ xclock&
这里注意 jwm & 执行一次够了，不需要每个 jail 都去执行一次。这里用 jwm 只是看重其轻量，xfce 等也是可以的，可以自行尝试，考虑性能重量级的我觉得没必要

共享主机 socket 方式

先在 FreeBSD 系统上执行
$ xhost +
关闭访问控制
然后在 jail 的 fstab 中加入下面内容,这里以 ubuntu jail 的 fstab 为例 ,其它 jail 参照修改就行
/tmp/.X11-unix /usr/jails/ubuntu/tmp/.X11-unix nullfs ro 0 0
必要时先 mkdir -p /usr/jails/ubuntu/tmp/.X11-unix,确保有挂载点
重启 jail 后，在 jail 中执行
$ export DISPLAY=:0.0
$ xclock &
注意，上文提到 fstab 文件中有下面这样一行
#/tmp /usr/jails/ubuntu/tmp nullfs rw 0 0
虽然很多教程中有这样写，但我认为是不安全的，所以注释掉不用。如果按这样写，那么 FreeBSD 的 /tmp 目录都将暴露在 jail 中，且因为是可读写的，在 jail 中就可以对 FreeBSD 的 /tmp 目录进行写入，这样破坏了 jail 与 FreeBSD 的隔离性，是不安全的。而只读挂载 /tmp/.X11-unix ，则大大提高安全性。

X Server tcp 侦听加 xhost 连接管理

这里我使用的是 sddm 桌面管理器，使用其它桌面管理器的，请参考相应桌面管理器的文档进行，原理一样
FreeBSD 内新建 /usr/local/etc/sddm.conf （如果没有的话），修改 ServerArguments 内容如下：
[X11]
ServerArguments=-listen tcp
重启后，FreeBSD 上用下面方式加入 jail ip 以允许访问(不需要 root 权限）
$ xhost + 192.168.5.1 # 这里不建议用上面的提到 `xhost +` 方式关闭访问控制,以避免意料外的连接
然后在 jail 中，执行
$ export DISPLAY=:0.0
$ xclock &
这里把 DISPLAY 设为 :0.0,127.0.0.1:0.0,10.0.2.15:0.0 都成功了，上面几种方法也可以仔细尝试

vnc

在 jail 中安装 vnc server ，可以用 tightvnc-server ，也可以用 tigervnc-server，这里以 debian jail 为例，在 jail 中执行
# apt install tightvncserver
$ vncpasswd # 这里不要求 root 用户
Password:
Verify:
Would you like to enter a view-only password (y/n)? n
A view-only password is not used
$ vncserver :0 # 同样不要求 root 用户，vncserver 的端口号为5900加上冒号后的数字，现在为5900，`:1` 端口号5901，以此类推。
使用 vnc 客户端登录

一些说明

宿主机 X Server tcp 侦听加 xhost 连接管理的方式是安全性最差的一种，是 tcp 侦听默认关闭原因之一。共享宿主机 socket 的方式注意上面提到的两点安全性还是有保障的。前 4 种方法算是“回字的 4 种写法”，都算是 X Server 连接的变体。 带 X Server 的终端和共享 socket 的方式之外，其它三种方式最好在 jail 内再搭配个桌面。带 X Server 的终端、共享主机 socket 、vnc 这三种方式比较推荐。无论哪个方式，linux jail 中不要要求每个 X 应用都能运行，那真的很难做到，毕竟兼容层不是百分百兼容，freebsd jail 的话就好很多。除去共享宿主机 socket 的方法，其它方法都是可以应用的非 jail 环境的。

参考资料

其他更多可以运行的软件及方法见 https://wiki.freebsd.org/LinuxApps。
网站：
第 21 章 Linux 兼容层 - 以前
第 21.11 节 Linux 兼容层——基于 Deepin
下一个 - 第 21 章 Linux 兼容层
第 21.13 节 Linux 兼容层故障排除与配置
最近更新 2mo ago
FreeBSD 中文社区