> For the complete documentation index, see [llms.txt](https://book.bsdcn.org/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://book.bsdcn.org/rpicn/pei-jian/ai-hat.md).

# AI HAT+（AI HATs）

AI HAT 是树莓派 5 的附加板，内置 AI 加速芯片：Hailo 神经处理单元（NPU）。Hailo NPU 使树莓派 5 能够在本地运行硬件加速的 AI 模型，无需将数据发送到远程云服务器进行处理。这种边缘 AI 方法可提升性能、降低延迟，并有助于保护数据隐私。AI HAT 如何与树莓派 5 集成并提供硬件加速的 AI 推理，详见[工作原理](#工作原理)。

AI HAT 采用较新的树莓派 HAT 规范，名称中的加号（**+**）即表示这一点。AI HAT 有两种型号：**AI HAT+** 和 **AI HAT+ 2**。更多信息请参阅[型号](#型号)。这些 AI HAT 提供不同的性能变体，以推理性能的每秒万亿次运算（TOPS）衡量。AI HAT+ 有 **13 TOPS** 和 **26 TOPS** 两种变体；AI HAT+ 2 只有 **40 TOPS** 一种变体。更多信息请参阅[性能（TOPS）变体](#性能tops变体)。

![26 TOPS（每秒万亿次运算）的树莓派 AI HAT+](https://1423291173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FCOxpD6RTIfF28SyASLTE%2Fuploads%2Fgit-blob-08064ca25ab9eb8a9de03b3d36d1441d3fc47ea9%2Fai-hat-plus-hero.jpg?alt=media)

26 TOPS（每秒万亿次运算）的树莓派 AI HAT+

![40 TOPS（每秒万亿次运算）的树莓派 AI HAT+ 2](https://1423291173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FCOxpD6RTIfF28SyASLTE%2Fuploads%2Fgit-blob-2fa3beb3bc3894b98287d267f5731b55eae67800%2Fai-hat-plus-2-hero.jpg?alt=media)

40 TOPS（每秒万亿次运算）的树莓派 AI HAT+ 2

## 工作原理

AI HAT 与树莓派 5 集成，利用板载 Hailo NPU（加速芯片）提供硬件加速的 AI 推理。

当 AI HAT+ 或 AI HAT+ 2 连接到树莓派 5 时，树莓派系统会自动检测板载加速器，并将受支持的 AI 工作负载交给它处理。这包括使用我们现有的摄像头和视觉框架在 NPU 上运行基于视觉的神经网络模型。有关将 AI HAT+ 或 AI HAT+ 2 连接到树莓派 5 的说明，请参阅[硬件组装](#硬件组装)。

树莓派系统自带的摄像头应用框架 `rpicam-apps` 和 `Picamera2` 可自动使用 Hailo NPU 执行受支持的 AI 计算任务，例如图像识别和目标检测。更多信息请参阅[人工智能软件](https://book.bsdcn.org/rpicn/shu-mei-pai/ren-gong-zhi-neng-ruan-jian.md)。

虽然检测和基本集成是自动的，但你还必须安装其他软件组件和受支持的 AI 模型才能使用硬件加速推理。更多信息请参阅[人工智能软件](https://book.bsdcn.org/rpicn/shu-mei-pai/ren-gong-zhi-neng-ruan-jian.md)。

## 型号

下表列出了 AI HAT+ 与 AI HAT+ 2 之间的主要能力差异。有关每种型号可用的加速芯片具体性能变体的信息，请参阅[性能（TOPS）变体](#性能tops变体)。

> **注意**
>
> **AI 套件** 的规格与 AI HAT+ 的 Hailo-8L 变体相同，功能上也等效。但是，AI 套件已停产，我们建议使用本页介绍的 AI HAT 之一。

| 功能                  | AI HAT+                                       | AI HAT+ 2                                         |
| ------------------- | --------------------------------------------- | ------------------------------------------------- |
| **加速芯片（Hailo NPU）** | Hailo-8L（13 TOPS，INT8）或 Hailo-8（26 TOPS，INT8） | Hailo-10H（40 TOPS，INT4）                           |
| **内存（RAM）**         | 使用树莓派 5 上的内存                                  | 自带 8 GB 板载内存，可运行最多约 60 亿参数的大语言模型（LLM）和视觉语言模型（VLM） |
| **大语言模型（LLM）支持**    | 不支持                                           | 支持                                                |
| **视觉语言模型（VLM）支持**   | 不支持                                           | 支持                                                |
| **用例**              | 目标检测、摄像头后处理、机器人、中等神经网络工作负载                    | AI HAT+ 上的全部功能，外加生成式 AI 工作负载，包括本地 LLM 和 VLM       |

## 性能（TOPS）变体

**AI HAT+** 提供以下每秒万亿次运算（TOPS）推理性能变体：

* **13 TOPS**，基于 **Hailo-8L** 神经网络加速器构建。适用于中等工作负载，性能与 [AI 套件](https://book.bsdcn.org/rpicn/pei-jian/ren-gong-zhi-neng-tao-jian-ai-kit.md)相似。
* **26 TOPS**，基于 **Hailo-8** 神经网络加速器构建。支持更大的网络、更高的吞吐量和并行 AI 模型。

**AI HAT+ 2** 提供 **40 TOPS** 推理性能，基于 **Hailo-10H** 神经网络推理加速器构建。它支持所有 AI HAT+ 工作负载，并增加了本地 LLM 和 VLM 能力，可实现本地文档问答等应用。

## 物理规格

以下图片展示了 AI HAT+、AI HAT+ 2 以及 AI HAT+ 2 附带散热器的物理尺寸。AI HAT+ 和 AI HAT+ 2 的尺寸相同；主要的视觉差异是 AI HAT+ 2 上增加了 SDRAM。有关此差异的更多信息，请参阅[型号](#型号)。

### AI HAT+ 规格

下图展示了 AI HAT+ 的大致物理尺寸，单位为毫米（mm）。AI HAT+ 约为 66 mm × 56.5 mm。Hailo NPU 周围有金属外壳，使其约为 17 mm × 17 mm。

![AI HAT+ 的机械图；所有测量值均为近似值，单位为毫米](https://1423291173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FCOxpD6RTIfF28SyASLTE%2Fuploads%2Fgit-blob-fcad07f24662fab175e6cf5679f85624c017e445%2Faihat-plus-mechanical.png?alt=media)

### AI HAT+ 2 与散热器规格

下图展示了 AI HAT+ 2 的大致物理尺寸，单位为毫米（mm）。AI HAT+ 2 约为 66 mm × 56.5 mm。Hailo NPU 约为 15 mm × 15 mm，SDRAM 约为 14.5 mm × 10 mm。

![AI HAT+ 2 的机械图；所有测量值均为近似值，单位为毫米](https://1423291173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FCOxpD6RTIfF28SyASLTE%2Fuploads%2Fgit-blob-f950dc6c744d10eac50024d81f6250e980d69fa5%2Faihat-plus-2-mechanical.png?alt=media)

下图展示了 AI HAT+ 2 散热器的大致物理尺寸，单位为毫米（mm）。算上两个用于固定散热器、带推入式销钉孔的角，散热器约为 42.5 mm × 64 mm。装上推入式销钉后，AI HAT+ 2 的高度约为 14 mm；不装时约为 3.2 mm。

![AI HAT+ 2 散热器的机械图；所有测量值均为近似值，单位为毫米](https://1423291173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FCOxpD6RTIfF28SyASLTE%2Fuploads%2Fgit-blob-206edf9b47d95137fa779f357f5df93718281142%2Faihat-plus-2-heatsink-mechanical.png?alt=media)

## 硬件组装

请确认已备齐所需硬件，然后按以下步骤在树莓派 5 上安装 AI HAT+ 或 AI HAT+ 2。开始前请确保树莓派 5 已断开电源。

### 准备工作

AI HAT+ 和 AI HAT+ 2 均附带以下安装硬件：

* 四个螺纹间隔柱。
* 四颗长螺丝，用于将间隔柱固定到树莓派 5。
* 四颗短螺丝，用于将 AI HAT+ 或 AI HAT+ 2 固定到树莓派 5 上的间隔柱。
* 一个 GPIO 堆叠排针。
* 一根排线。

![AI HAT 的安装硬件](https://1423291173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FCOxpD6RTIfF28SyASLTE%2Fuploads%2Fgit-blob-b2a60016aea8f5f15a1aa930440546520f85d686%2Fai-hat-plus-installation-02.png?alt=media)

此外，你还需要：

* 一台树莓派 5。
* 一把十字螺丝刀。
* 可选：树莓派主动散热器（推荐）。这是一个带风扇的铝制散热器，有助于散发树莓派 5 的热量，使其保持在安全的工作温度。

AI HAT+ 2 附带一个额外的散热器，需安装在 HAT 顶部。我们建议同时安装主动散热器（在树莓派 5 上）和散热器（在 AI HAT+ 2 上）。

当你备齐所有必需硬件后，请完成以下步骤。

### 第 1 步：安装主动散热器（推荐）

我们建议在树莓派 5 上安装主动散热器。如果你想跳过此步骤，或者你的树莓派 5 已经安装了主动散热器，请继续下一步。

![将主动散热器安装到树莓派 5 上](https://1423291173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FCOxpD6RTIfF28SyASLTE%2Fuploads%2Fgit-blob-33fb88280edf20f0eeb796ee8bec18c63270b3ee%2Fai-hat-plus-installation-01.png?alt=media)

首先，确保树莓派 5 已断开电源。然后：

1. **准备散热器。** 移除散热器底部导热垫上的保护纸。这会露出每个导热垫上的粘性表面。
2. **放置散热器。** 将两个白色推入式销钉与树莓派 5 上两个专用的散热器孔对齐。在此位置，导热垫与无线模块、片上系统（SoC）和电源管理集成电路（PMIC）对齐。
3. **固定散热器。** 将散热器轻轻压到树莓派 5 上。然后，均匀地将两个白色推入式销钉向下压入树莓派 5 上的两个专用散热器孔，直到它们咔嗒一声卡入。
4. **连接风扇。** 将风扇的 JST 接头插入树莓派 5 上的风扇插座。

> **注意**
>
> 使用前请确保推入式销钉完好无损，并牢固地卡在树莓派 5 上。

我们建议散热器安装到树莓派 5 后不要拆卸。这是因为拆卸散热器可能导致推入式销钉和导热垫劣化，从而造成产品损坏。

### 第 2 步：安装 AI HAT+ 2 散热器（推荐）

AI HAT+ 2 附带一个额外的散热器。如果你安装的是 AI HAT+ 而不是 AI HAT+ 2，可以跳过此步骤。

虽然 AI HAT+ 2 随附的散热器是可选的，但我们建议将其安装到 AI HAT+ 2 上，尤其是在运行基准测试或密集型 AI 工作负载时。这可以防止 AI HAT+ 2 因过热而降速。

若要将散热器安装到 AI HAT+ 2 上，请在将 AI HAT+ 2 安装到树莓派 5 之前操作：

1. **准备散热器。** 移除散热器底部导热垫上的保护纸。这会露出每个导热垫上的粘性表面。
2. **放置散热器。** 将散热器上的两个黑色推入式销钉与 AI HAT+ 2 上对角位置的两个专用散热器孔对齐。在此位置，导热垫与电源稳压器、Hailo NPU 和 SDRAM 芯片对齐。
3. **固定散热器。** 均匀地将两个黑色推入式销钉向下压入 AI HAT+ 2 上的散热器孔，直到它们咔嗒一声卡入。

> **注意**
>
> 使用前请确保推入式销钉完好无损，并牢固地卡在 AI HAT+ 2 上。

我们建议散热器安装到树莓派 AI HAT+ 2 后不要拆卸。这是因为拆卸散热器可能导致推入式销钉和导热垫劣化，从而造成产品损坏。

### 第 3 步：安装 AI HAT

AI HAT+ 和 AI HAT+ 2 均通过树莓派 5 的 PCIe 接口连接，这是一个用于连接硬件组件的高速接口。

首先，确保树莓派 5 已断开电源，然后：

1. **安装间隔柱。** 使用十字螺丝刀和四颗较长的螺丝，将四个间隔柱固定到树莓派 5 上的黄色孔位。
2. **连接 GPIO 堆叠排针。** 将 GPIO 堆叠排针与树莓派 5 上的 GPIO 引脚对齐。用力按下，直到排针完全就位。只要所有 GPIO 引脚都正确对齐并插入，排针的方向无关紧要。
3. **从 AI HAT 上断开 PCIe 排线。** 将 AI HAT 上 PCIe 接口两侧的固定夹向外滑出，然后轻轻拉出排线。
4. **将 PCIe 排线插入树莓派。** 将排线的另一端插入树莓派 5 上的 PCIe 接口。为此，首先将树莓派 5 上 PCIe 接口的固定夹从两侧向上滑出。然后，将排线插入 PCIe 接口。确保金属触点朝向内部（朝向 USB 接口）。
5. **将 PCIe 排线固定到树莓派。** 在保持排线不动的同时，从两侧将固定夹推回接口，确保排线均匀插入。
6. **安装 AI HAT。** 使 AI HAT 的主要组件朝上，将 AI HAT 上的安装孔与树莓派 5 上的间隔柱对齐。使用剩余的四颗（较短的）螺丝将 AI HAT 固定到位。
7. **将 PCIe 排线插入 AI HAT。** 将排线未连接的一端插入 AI HAT 上的 PCIe 接口。为此，首先将 AI HAT 上 PCIe 接口的固定夹从两侧向外滑出。然后，将排线插入 PCIe 接口。
8. **将 PCIe 排线固定到 AI HAT。** 在保持排线不动的同时，从两侧将固定夹推回接口，确保排线均匀插入。

## 后续步骤：运行 AI 模型

AI HAT 既支持 Hailo 提供的示例模型，也支持为你的特定应用训练的自定义模型，例如语音转文本、翻译或视觉场景分析。有关可用示例模型的列表，请参阅 Hailo 的 [Model Explorer](https://hailo.ai/products/hailo-software/model-explorer/generative-ai/)。

要开始在树莓派 5 上运行 AI 模型，请参阅[人工智能软件](https://book.bsdcn.org/rpicn/shu-mei-pai/ren-gong-zhi-neng-ruan-jian.md)，其中提供了有关以下内容的信息和指导：

* 在树莓派 5 上运行 AI 加速的视觉模型。
* 与 AI HAT+ 2 相关的生成式 AI 模型。


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://book.bsdcn.org/rpicn/pei-jian/ai-hat.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
