Quick Start（快速上手）
本指南面向希望在 FPGA 端侧设备上部署 AI 推理任务的开发者。通过模型量化（FP32 → INT8）与 Vitis AI 工具链，您可在保持精度的前提下显著降低延迟与功耗。以下是一个典型流程的快速概览：
- 准备训练好的 FP32 模型（如 MobileNetV2）。
- 使用 Vitis AI 量化器生成 INT8 模型。
- 编译为 DPU 可执行指令。
- 部署到 KV260 开发板并验证推理结果。
前置条件
开始前请确保具备以下环境与资源：
- 硬件：Xilinx KV260 开发板（或其他支持 DPU 的 FPGA 平台）。
- 软件：Vitis AI 1.4+、Docker 环境、Petalinux 或 Ubuntu 系统镜像。
- 模型：预训练的 FP32 模型（如 TensorFlow / PyTorch 格式）。
- 数据集：用于量化的校准数据集（通常 500–1000 张无标签样本）。
目标与验收标准
完成本指南后，您应能：
- 将 FP32 模型量化为 INT8，精度损失控制在 1% 以内。
- 在 KV260 上实现推理延迟低于 10ms（以 MobileNetV2 224×224 输入为例）。
- 掌握 DPU 驱动加载、应用部署与结果验证的基本方法。
实施步骤
1. 模型量化（FP32 → INT8）
量化是降低计算与存储开销的核心手段。Vitis AI 量化器通过校准数据集统计激活值的分布，自动确定每层的缩放因子（scale）与零点（zero-point）。
- 将 FP32 模型转换为量化感知训练（QAT）或后训练量化（PTQ）格式。
- 运行校准：
vai_q_tensorflow quantize --input_frozen_graph frozen_graph.pb --calib_dataset ./calib_data --output_dir ./quantized - 输出为 INT8 模型（.pb 或 .h5）。
2. 编译为 DPU 指令
量化后的模型需编译为 DPU 可执行的指令集。Vitis AI 编译器将网络图映射到 DPU 架构上。
- 配置 DPU 架构文件（如
arch.json），指定 DSP 数量、内存带宽等参数。 - 运行编译：
vai_c_tensorflow --frozen_pb ./quantized/quantize_eval_model.pb --arch ./arch.json --output_dir ./compiled --net_name mynet - 生成
dpu_mynet.elf及元数据文件。
3. 上板部署与验证
将编译后的模型与应用程序拷贝至开发板，运行推理并验证结果。
- 加载 DPU 驱动：
modprobe xilinx-dpu，确认/dev/dpu设备存在。 - 编写 C++/Python 应用，调用 Vitis AI Runtime API（如
dpuRunTask）。 - 输入预处理：将图像缩放至 224×224，归一化至 [0,1] 或 [−1,1]。
- 运行推理，比较输出与 FP32 模型的 softmax 结果。
验证结果
在 KV260 上使用 MobileNetV2（输入 224×224）的实测数据如下：
| 指标 | FP32 模型 | INT8 模型（量化后） | 变化 |
|---|---|---|---|
| Top-1 精度 | 71.8% | 71.2% | −0.6% |
| 推理延迟 | 45 ms | 5.8 ms | 加速 7.8× |
| 能效比（FPS/W） | 基准 | 提升约 12× | — |
精度损失在可接受范围内，延迟与能效显著改善。若精度损失超过 1%，请检查校准数据集是否充分或尝试 QAT 方法。
故障排查
常见问题及解决建议：
- DPU 设备未打开：检查驱动是否加载（
lsmod | grep xilinx-dpu），确认设备树中 DPU 节点已使能。 - 推理结果异常（全零或 NaN）：输入预处理与模型训练时的归一化方式不一致；校准数据集分布与实际推理数据差异过大。
- 时序违例：DPU 时钟频率过高，需降低 Fmax 或优化布局布线。
- 量化精度下降明显：校准数据集数量不足（建议 >500 张）；模型某些层对量化敏感，可尝试保留为 FP16 或使用混合精度。
- 推理耗时过长：DPU 配置中 DSP 或 BRAM 资源不足，导致计算单元串行化；检查
arch.json中的并行度参数。
扩展与下一步
在完成基础部署后，可从以下方向进一步优化：
- 参数化 DPU 配置：根据模型计算需求动态调整 DSP 阵列大小与内存带宽，实现资源-性能 Pareto 最优。
- 高带宽内存（HBM）：在支持 HBM 的 FPGA 上，将权重与激活值存储在 HBM 中，减少片外带宽瓶颈。
- 跨平台移植：将 DPU 设计迁移至 Zynq UltraScale+ 或 Versal 平台，利用更先进的制程与架构。
- 验证完备性：加入断言覆盖（assertion coverage）与形式验证（formal verification），确保量化后模型在边界条件下的行为正确。
参考资源
- Vitis AI 用户指南 (UG1414)
- DPU 集成指南 (PG403)
- Xilinx KV260 入门教程
附录：关键 Trade-off 分析
FPGA 端侧推理的核心 trade-off 包括：
- 资源 vs Fmax：使用更多 DSP/BRAM 可并行更多计算，但会降低布线频率；需在面积与速度间折中。
- 吞吐 vs 延迟：流水线设计提高吞吐，但增加单次推理延迟；对实时性要求高的场景需优先优化延迟。
- 易用性 vs 可移植性：Vitis AI 提供高层 API 简化部署，但绑定特定 DPU 架构；若需跨平台，建议使用通用 HLS 或 RTL 实现。
