FreeBSD 中文社区 2025 第二季度问卷调查
FreeBSD 中文社区(CFC)
VitePress 镜像站QQ 群 787969044视频教程Ⅰ视频教程Ⅱ
  • FreeBSD 从入门到追忆
  • 中文期刊
  • 状态报告
  • 发行说明
  • 手册
  • 网络文章集锦
  • 笔记本支持报告
  • Port 开发者手册
  • 架构手册
  • 开发者手册
  • 中文 man 手册
  • 文章
  • 书籍
  • FreeBSD 中文期刊
  • 编辑日志
  • 2025-123 下游项目
    • FreeBSD 发布工程:新主管上任
    • GhostBSD:从易用到挣扎与重生
    • BSD Now 与将来
    • 字符设备驱动教程(第三部分)
    • 学会走路——连接 GPIO 系统
    • FreeBSD 中对 SYN 段的处理
    • FreeBSD 2024 年秋季峰会
  • 2024-1112 虚拟化
    • 字符设备驱动程序教程(第二部分)
    • 面向 Linux 和 Windows 用户的 bhyve
    • Xen 与 FreeBSD
    • Wifibox:一种嵌入式虚拟化无线路由器
    • 嵌入式 FreeBSD:Fabric——起步阶段
    • DGP:一种新的数据包控制方法
    • 会议报告:我在都柏林的 EuroBSDCon 体验
  • 2024-0910 内核开发
    • 字符设备驱动程序教程
    • VPP 移植到了 FreeBSD:基础用法
    • 利用 Kyua 的 Jail 功能提升 FreeBSD 测试套件的并行效率
    • FreeBSD 上的 Valgrind
    • 嵌入式 FreeBSD:探索 bhyve
    • TCP/IP 历险记:FreeBSD TCP 协议栈中的 Pacing
    • 实用软件:实现无纸化(Paperless)
  • 2024-0708 存储与文件系统
    • FreeBSD 中的 NVMe-oF
    • FreeBSD iSCSI 入门
    • 使用 ZFS 原生加密保护数据
    • 嵌入式 FreeBSD:打造自己的镜像
    • TCP LRO 简介
    • 基于 Samba 的时间机器备份
  • 2024-0506 配置管理对决
    • 基本系统中的 mfsBSD
    • rdist
    • Hashicorp Vault
    • 在 GitHub 上向 FreeBSD 提交 PR
    • 悼念 Mike Karels
    • 2024 年 5-6 月来信
    • 嵌入式 FreeBSD 面包板
    • TCP/IP 历险记:TCP BBLog
    • 实用软件:开发定制 Ansible 模块
  • 2024-0304 开发工作流与集成
    • FreeBSD 内核开发工作流程
    • FreeBSD 与 KDE 持续集成(CI)
    • 更现代的内核调试工具
    • 从零开始的 ZFS 镜像及 makefs -t zfs
    • 提升 Git 使用体验
  • 2024-0102 网络(十周年)
    • FreeBSD 中的 RACK 栈和替代 TCP 栈
    • FreeBSD 14 中有关 TCP 的更新
    • if_ovpn 还是 OpenVPN
    • SR-IOV 已成为 FreeBSD 的重要功能
    • FreeBSD 接口 API(IfAPI)
    • BATMAN:更优的可移动热点网络方式
    • 配置自己的 VPN——基于 FreeBSD、Wireguard、IPv6 和广告拦截
    • 实用软件:使用 Zabbix 监控主机
  • 2023-1112 FreeBSD 14.0
    • LinuxBoot:从 Linux 启动 FreeBSD
    • FreeBSD 容器镜像
    • 现在用 Webhook 触发我
    • 新的 Ports 提交者:oel Bodenmann (jbo@freebsd.org)
  • 2023-0910 Port 与软件包
    • 回忆录:与 Warner Losh(@imp)的访谈
    • 在你自己的仓库中定制 Poudriere 源
    • Wazuh 和 MITRE Caldera 在 FreeBSD Jail 中的使用
    • PEP 517
    • CCCamp 2023 旅行报告
  • 2023-0708 容器与云
    • 在 Firecracker 上的 FreeBSD
    • 使用 pot 和 nomad 管理 Jail
    • 会议报告:C 与 BSD 正如拉丁语与我们——一位神学家的旅程
    • 抒怀之旅:与 Doug Rabson 的访谈
    • 基于 Jail 的广告拦截教程
    • 我们收到的来信
  • 2023-0506 FreeBSD 三十周年纪念特刊
    • CheriBSD 近十多年的历程
    • AArch64:成为 FreeBSD 新的一级架构
    • 岁月如梭:我个人的时间线
    • 安装 FreeBSD 1.0:回顾 30 年前
    • ZFS 是如何进入 FreeBSD 的呢?
    • 我不是来自约克郡的,我保证!
    • 回忆录:采访 David Greenman Lawrence
    • FreeBSD 和早期的 Unix 社区
    • 早期的 FreeBSD 移植
    • FreeBSD 30 周年:成功的秘诀
    • FreeBSD 在日本:回忆之旅与今日之实
  • 2023-0304 嵌入式
    • CheriBSD port 和软件包
    • 让我们来试试 ChatGPT
    • GPU 直通
  • 2023-0102 构建 FreEBSD Web 服务器
    • ZFS 的原子 I/O 与 PostgreSQL
    • 虚拟实验室——BSD 编程研讨会
    • ZFS 简介
    • 会议报告:落基山庆祝女性计算机科学家
    • 进行中的工作/征求反馈:数据包批处理
    • 基金会与 FreeBSD 桌面
  • 2022-1112 可观测性和衡量标准
    • 在 FreeBSD 的 DDB 内核调试器中编写自定义命令
    • DTrace:老式跟踪系统的新扩展
    • 基于证书的 Icinga 监控
    • 活动监控脚本(activitymonitor.sh)
    • 实用 IPv6(第四部分)
    • EuroBSDCon 会议报道
    • 实用 Port:Prometheus 的安装与配置
    • 书评:《用火解决问题:管理老化的计算机系统(并为现代系统保驾护航)》Kill It with Fire: Manage Aging Computer Systems (and Future Proof Modern Ones)
  • 2022-0910 安全性
    • CARP 简介
    • 重构内核加密服务框架
    • PAM 小窍门
    • SSH 小窍门
    • 实用 IPv6(第三部分)
    • 书评:Understanding Software Dynamics(深入理解软件性能——一种动态视角)—— Richard L. Sites 著
    • 访谈:保障 FreeBSD 安全性
    • MCH 2022 会议报告
  • 2022-0708 科研、系统与 FreeBSD
    • 在 FreeBSD 上构建 Loom 框架
    • 教授本科生 Unix 课程
    • FreeBSD 入门研讨会
    • 实用 IPv6(第二部分)
    • 在 2022 年及以后推广 FreeBSD
    • 进行中的工作/征求反馈:Socket 缓冲区
    • FreeBSD 开发者峰会报告
    • 支持 Electromagnetic Field 2022
  • 2022-0506 灾难恢复
    • 使用 FreeBSD 构建高弹性的私有云
    • LLDB 14 —— FreeBSD 新调试器
    • 实用 IPv6(第一部分)
    • 利用 netdump(4) 进行事后内核调试
    • 进行中的工作/征求反馈:FreeBSD 启动性能
    • 实用 Port:在 OpenZFS 上设置 NFSv4 文件服务器
  • 2022-0304 ARM64 是一级架构
    • FreeBSD/ARM64 上的数据科学
    • Pinebook Pro 上的 FreeBSD
    • 嵌入式控制器的 ACPI 支持
    • 进行中的工作/征求反馈:Lumina 桌面征集开发人员
    • 实用 Port:如何设置 Apple 时间机器
  • 2022-0102 软件与系统管理
    • 为 FreeBSD Ports 做贡献
    • 使用 Git 贡献到 FreeBSD Ports
    • CBSD:第一部分——生产环境
    • 将 OpenBSD 的 pf syncookie 代码移植到 FreeBSD 的 pf
    • 进行中的工作/征求反馈:mkjail
    • 《编程智慧:编程鬼才的经验和思考》(The Kollected Kode Vicious)书评
    • 会议报告:EuroBSDCon 2021 我的第一次 EuroBSDCon:一位新组织者的视角
  • 2021-1112 存储
    • 开放通道 SSD
    • 构建 FreeBSD 社区
    • 与完美操作系统同行 27 年
    • 进行中的工作/征求反馈:OccamBSD
    • 通过 iSCSI 导入 ZFS ZIL——不要在工作中这样做——就像我做的那样
  • 2021-0910 FreeBSD 开发
    • FreeBSD 代码审查与 git-arc
    • 如何为 FreeBSD 实现简单的 USB 驱动程序
    • 内核开发技巧
    • 程序员编程杂谈
  • 2021-0708 桌面/无线网
    • 通往 FreeBSD 桌面的直线路径
    • FreeBSD 13 中的人机接口设备 (HID) 支持
    • Panfrost 驱动程序
    • 用 Git 更新 FreeBSD
    • FreeBSD 的新面孔
    • 想给你的桌面加点佐料?
  • 2021-0506 安全
    • 七种提升新安装 FreeBSD 安全性的方法
    • copyinout 框架
    • 使用 TLS 改善 NFS 安全性
    • Capsicum 案例研究:Got
    • 对 Jail 进行安全扫描
  • 2021-0304 FreeBSD 13.0
    • 展望未来
    • FreeBSD 13.0 工具链
    • FreeBSD 13.0 中有新加载器吗?
    • TCP Cubic 准备起飞
    • OpenZFS 中的 Zstandard 压缩
    • 会议报告:FreeBSD 供应商峰会
    • Git 不够吗?
  • 2021-0102 案例研究
    • Tarsnap 的 FreeBSD 集群
    • BALLY WULFF
    • Netflix Open Connect
    • FreeBSD 的新面孔
    • 写作学者的 FreeBSD
    • 在世界之巅
  • 2020-1112 工作流/持续集成(CI)
    • FreeBSD Git 快速入门
    • 使用 syzkaller 进行内核 Fuzzing
    • Mastering Vim Quickly 书评
    • 线上会议实用技巧
    • 在控制台上进行网络监控
  • 2020-0910 贡献与入门
    • 采访:Warner Losh,第 2 部分
    • 代码审查
    • 撰写良好的提交消息
    • 如何在不是程序员的情况下做出贡献——成为 FreeBSD 译者
    • 如何成为文档提交者
    • 谷歌编程之夏
    • 为 FreeBSD 期刊撰写文章
    • 你为什么使用 FreeBSD
    • FreeBSD 的新面孔
  • 2020-0708 基准测试/调优
    • FreeBSD Friday
    • 采访:Warner Losh,第 1 部分
    • 构建和运行开源社区
    • 在 FreeBSD 上轻松搭建我的世界(Minecraft)服务器
    • FreeBSD 的新面孔
  • 2020-0506 网络性能
    • 内核中的 TLS 卸载
    • 访谈:Michael W Lucas
    • FreeBSD 桌面发行版
    • 使用 Poudriere 进行 Port 批量管理
    • FreeBSD 的新面孔
由 GitBook 提供支持
LogoLogo

FreeBSD 中文社区(CFC) 2025

在本页
  • Python 打包的简要历史
  • USE_PYTHON=distutils
  • USE_PYTHON=pep517
  • 注意事项和未来考虑
在GitHub上编辑
导出为 PDF
  1. 2023-0910 Port 与软件包

PEP 517

上一页Wazuh 和 MITRE Caldera 在 FreeBSD Jail 中的使用下一页CCCamp 2023 旅行报告

最后更新于1个月前

image
  • 原文链接:

  • 作者:CHARLIE LI

  • 译者:Canvis-Me & ChatGPT

某一天,在 IRC,bofh@ 在尝试更新一个 Python port 时遇到了一个问题:源代码不再包含 setup.py 文件。而没有这样的文件,Ports 框架中的 Python 框架就无法工作,没有前进的路。出于好奇,我开始对这个问题进行了一些浅显的调查,很快就发现了一个全新的打包和分发标准,我们迟早需要支持它。越来越多的软件包在这方面采取了领先或效仿的态度,而最终的 Python 3.12 版本将进一步加剧这个问题。我强调“标准”是因为 setup.py 和以前的第三方/附加 Python 软件分发从未被标准化或完全架构化过……

于是,PEP 517 应运而生,这是一个实际的 Python 包构建和分发的设计和架构,使用了在 PEP 427 中首次标准化的 wheel 包格式。在浏览了所有相关的 Python Enhancement Proposals (PEPs,Python 编码风格指南) 后,我惊呼道,这好得多,让我们看看如何在 Ports 框架中实现这一点。

Python 打包的简要历史

“简要”有多种理解方式,所以这可能看起来一点都不简要。这段历史遗憾地又长又曲折,略去了许多微妙之处,所以这是尽可能“简要”的版本。

在 Python 2.0 之前,不像 C 项目的 configure-build-install 工作流,并没有组织良好的分发 Python 代码的方式,。Python 2.0 引入了 distutils,这是标准库/分发中的一个新模块,提供了类似于更常见的 make(1) 目标的功能,处理 configure-build-install。这使得将其整合到像我们的 Ports 框架这样的发行系统中以创建操作系统级别的软件包相对简单。

不幸的是,只有 distutils 并不能很好地指定和强制执行依赖关系。与配置和编译代码的项目不同,那里缺少或不正确的依赖关系会在任何阶段导致错误,但对于解释性的 Python 代码(CPython 有一个字节码编译器,其输出实际上被执行,但这是一个完全不同的主题,有其自己的详细信息和陷阱),除了运行代码本身之外,没有实际的强制执行机制。像我们的 Ports 框架这样的发行系统处理等式的依赖关系部分,但大多数人在这个上下文之外不会阅读 README 或以其他方式找出在本地环境中安装 Python 代码所需的依赖关系。

然后是 setuptools,它被设计为 distutils 的一个增强的替代品,提供了依赖管理等功能。对于大多数在构建链的顶部使用 setuptools 的软件包来说,效果很好。然而,某些软件包在 setuptools 能够发挥作用之前导入依赖项。不同的目标不一定需要相同的依赖关系集。有些软件包甚至指定了确切的 setuptools 版本。最糟糕的是,一切都在同一个(主机)环境中运行,而 setuptools 本身无法正确创建执行所需的正确环境。

对于像我们 Ports 框架这样的发行系统,这些缺陷并不是太大的问题。我们有方法自动管理依赖关系并隔离环境,以提供 setuptools 发挥作用所需的正确环境,特别是使用 poudriere。在开发者场景中情况就不那么简单了,特别是在 Python 虚拟环境出现之前。

此外,由 distutils/setuptools 定义的包格式很不灵活,难以维护,并且在构建和安装 Python 软件包方面阻碍了创新。wheel 标准是作为一个独立于任何构建和安装方案的专用包格式开发的。这很像我们自己的 pkg(8) 或其他操作系统级软件包管理器包格式。不过,distutils/setuptools 本身依赖于另一个名为 wheel 的外部 Python 软件包提供这个功能,而不是在第一次集成时就把它整合进去。有人能闻到循环依赖的味道吗?

在接下来的几年里,不同的项目涌现出来,试验非 distutils/setuptools 构建系统,特别是当 setuptools 变得像必要的那样臃肿时,但这些项目都是以老式 Unix 哲学的简单性为目标。但由于 distutils/setuptools 仍然是构建和安装的事实上的界面,这些新项目不能在生产中用于执行它们的意图。由于包格式定义为独立于任何构建和安装方案,因此出现了 PEP 517,这是一个生成构建系统实现的 wheel 的最小接口,允许在这个领域进行选择。

USE_PYTHON=distutils

设想一个具有以下源代码布局的 Python 软件包示例:

sample/
├── setup.py
├── …
└── src/
  └── sample/
    ├── __init__.py
    └── …

该 port 的外观可能如下所示:

PORTNAME=          sample
DISTVERSION=       1.2.3
CATEGORIES=        devel python
MASTER_SITES=      PYPI
PKGNAMEPREFIX=     ${PYTHON_PKGNAMEPREFIX}

MAINTAINER=        freebsd@example.org
COMMENT=           Python sample module

RUN_DEPENDS=       ${PYTHON_PKGNAMEPREFIX}six>0:devel/py-six@${PY_FLAVOR}

USES=              python
USE_PYTHON=        autoplist distutils

.include <bsd.port.mk>

在具备适当配置的正常 setup.py 的情况下,ports 框架会分别对每个 port 目标执行 setup.py 的 configure、build 和 install 目标。Python 包并未指定任何构建依赖项,除了隐式的 distutils/setuptools 提供的全部结构。运行时依赖项被指定,而 distutils/setuptools 仅在安装时检查。生成安装元数据,其中包括一个我们使用的已安装工件列表,经过轻微修改,我们用于制作打包清单。

这遵循了传统上用于 C/C++ 项目的 Makefile 的过程。工件被安装到一个阶段目录层次结构中,然后打包起来。

USE_PYTHON=pep517

设想一个具有以下源代码布局的更新后的 Python 包示例:

sample/
├── pyproject.toml
├── …
└── src/
  └── sample/
    ├── __init__.py
    └── …

该 port 的外观可能如下所示:

PORTNAME=          sample
DISTVERSION=       1.2.4
CATEGORIES=        devel python
MASTER_SITES=      PYPI
PKGNAMEPREFIX=     ${PYTHON_PKGNAMEPREFIX}

MAINTAINER=        freebsd@example.org
COMMENT=           Python sample module

BUILD_DEPENDS=     ${PYTHON_PKGNAMEPREFIX}flit-core>0:devel/py-flit-core@${PY_FLAVOR}
RUN_DEPENDS=       ${PYTHON_PKGNAMEPREFIX}six>0:devel/py-six@${PY_FLAVOR}

>USES=             python
USE_PYTHON=        autoplist pep517

.include <bsd.port.mk>

乍一看,这个 port 几乎看起来是相同的。在设计 port 工作流程时,我们仔细考虑以确保在 Python 软件包更新并采用 PEP 517 时进行尽可能无缝的转换。

通过这种方法,setuptools 不再是关注的焦点。相反,隐式构建依赖项是两个独立的 Python 软件包 ports,即构建前端和集成前端。构建前端解析 pyproject.toml 中的构建特定元数据,以确定构建后端是否存在于环境中,并执行它以构建 wheel。在这个例子中,构建后端是 flit-core,并且它被指定为常规构建依赖项。如果构建成功,将生成一个具有严格格式的文件名的 wheel 文件。集成前端引用严格格式的 wheel 文件,检查运行时依赖项,并安装到分段目录,包括元数据。我们的打包清单来自这个与以前相似的元数据。

与其他方法相比,一个显著的省略是一个独立的配置阶段,它被集成到构建阶段中。这允许 Python 软件包选择其项目中最适合的构建后端,无论是 PyPI 中可用的还是其源代码中的自定义后端。

注意事项和未来考虑

在 PEP 517 支持进入 Ports 框架之后的这段时间里,一些人对我们的实现提出了一些感知上的不灵活性。很可能,这种不灵活性是有意的,基于对 Python 标准以及安全性/完整性等方面的遵循。

一个焦点涉及到在阶段过程中调用的 wheel 文件名。我们可以将整个通配符 wheel 文件名传递给 PEP 517 集成前端,然后就此打住,但这样做浪费了改善 Python 端和 port 之间元数据一致性的黄金机会。一些 port 的名称或版本与它们的 Python 软件包元数据对应不上。更让人愤慨的是,PyPI 曾经出现过拼写错误导致恶意软件的包。能够根据不一致的元数据提前使 port 构建失败提供了另一种机制,即使在提交任何补丁之前,也能使我们的树免受即使是最隐秘的攻击的威胁。

由于 wheel Python 软件包本身切换到了 PEP 517,我们的 setuptools ports 现在可以依赖于它,而不是相反。这将 USE_PYTHON=distutils 情况下构建 wheel 打开,而不是原始方法,这不仅将围绕 PEP 517 集成前端统一阶段工作流程,而且在过程中享受相同的元数据一致性检查。

总的来说,这是一个曾经并将继续是一场磨难。更现代的语言包括它们自己的包管理器,主要面向开发人员及其隔离的环境,但预计大多数人,包括操作系统级打包者,都会使用它们。至少在 Python 中,一直有某种方式可以至少绕过这种概念,首先是使用 distutils/setuptools,现在是 PEP 517 使事情变得更加清晰。我们仍然需要注意将语言的可接受软件包版本方案映射到我们的标准和总体元数据一致性等问题,但这些问题可以逐渐解决。


CHARLIE LI 是一个专注于 GTK 桌面、Python、一些 Rust 以及业余无线电(呼号:K3CL)的 ports 提交者。有时会涉足其他领域进行根本原因分析。在现实生活中,他是一名技术顾问,并且有时在他当地的公共交通机构调度公共汽车。

大部分内容摘自“”

为什么不应直接调用 setup.py
https://freebsdfoundation.org/wp-content/uploads/2023/11/li_python.pdf