大疆无人机FPGA图像处理加速实战

Quick Start

• 下载并安装 Vivado 2022.2（或更高版本），确保包含 Vitis HLS 工具链。
• 准备一块 Xilinx Zynq-7000 系列开发板（如 Zybo Z7-20），并连接 HDMI 输入/输出模块。
• 从 GitHub 仓库（示例：https://github.com/example/dji_fpga_accel）克隆项目源码。
• 在 Vivado 中打开 dji_fpga_accel.xpr 工程文件，等待 IP 核与约束加载完成。
• 运行综合（Synthesis），检查无关键警告（如未约束的时钟或跨时钟域路径）。
• 运行实现（Implementation），观察时序报告：确保 setup slack > 0，hold slack > 0。
• 生成比特流（Generate Bitstream），成功后烧录到开发板。
• 连接 HDMI 摄像头输入，观察显示器输出：应看到实时处理后的图像（如边缘检测或色彩增强效果）。
• 验收点：帧率 ≥ 30 FPS（1080p），延迟 ≤ 1 帧，无撕裂或花屏。

前置条件与环境

目标与验收标准

• 功能点：实现实时视频流的灰度转换 + Sobel 边缘检测 + 色彩空间转换（RGB→YUV）。
• 性能指标：1080p@30fps 处理，流水线延迟 ≤ 2 行（像素时钟周期）。
• 资源占用：LUT ≤ 15k，FF ≤ 20k，BRAM ≤ 60 个，DSP ≤ 40 个。
• 时序要求：像素时钟 148.5 MHz，setup slack ≥ 0.1 ns，hold slack ≥ 0.05 ns。
• 验收方式：上板观察 HDMI 输出图像，通过 ILA 捕获行同步与像素数据验证时序。

实施步骤

工程结构与模块划分

创建 Vivado 工程，顶层模块为 top_video_pipeline，内部包含以下子模块：

• hdmi_rx_wrapper：接收 HDMI 输入，解析像素与同步信号。
• rgb_to_gray：RGB 转灰度（加权平均：0.299R + 0.587G + 0.114B）。
• sobel_edge：3x3 Sobel 算子，含行缓冲（Line Buffer）与卷积计算。
• gray_to_yuv：灰度转 YUV 格式（Y = gray, U=V=128）。
• hdmi_tx_wrapper：输出 HDMI 信号。

工程目录结构建议：

dji_fpga_accel/
├── src/
│   ├── rtl/          # 所有 RTL 文件
│   ├── ip/           # IP 核（MIG、HDMI 控制器）
│   ├── constraints/  # XDC 文件
│   └── sim/          # 测试平台
├── vivado_project/   # Vivado 工程文件
└── docs/             # 文档

关键模块设计

行缓冲（Line Buffer）实现：使用 BRAM 构建 3 行缓冲区，每行存储 1920 像素（8-bit 灰度）。BRAM 配置为双端口，读延迟 1 周期。

// line_buffer.v
module line_buffer #(
    parameter WIDTH = 8,
    parameter COLS  = 1920
)(
    input clk,
    input rst_n,
    input [WIDTH-1:0] din,
    input valid_in,
    output reg [WIDTH-1:0] dout_line0,
    output reg [WIDTH-1:0] dout_line1,
    output reg [WIDTH-1:0] dout_line2
);
    // 使用 BRAM 实现 3 行移位寄存器
    // 注意：BRAM 读延迟需通过流水线补偿
endmodule

Sobel 卷积核：计算 Gx 和 Gy，然后求绝对值之和。使用流水线加法树减少关键路径。

// sobel_core.v
module sobel_core (
    input clk,
    input [7:0] p00, p01, p02,
    input [7:0] p10, p11, p12,
    input [7:0] p20, p21, p22,
    output reg [7:0] edge_out
);
    wire [10:0] gx = (p02 + 2*p12 + p22) - (p00 + 2*p10 + p20);
    wire [10:0] gy = (p20 + 2*p21 + p22) - (p00 + 2*p01 + p02);
    wire [10:0] mag = (gx > 0 ? gx : -gx) + (gy > 0 ? gy : -gy);
    assign edge_out = (mag > 128) ? 8'hFF : 8'h00; // 阈值可调
endmodule

时序与跨时钟域处理

系统存在三个时钟域：系统时钟 (100 MHz)、像素时钟 (148.5 MHz)、DDR 时钟 (200 MHz)。使用异步 FIFO 进行跨时钟域数据传输。

// 异步 FIFO 实例化
async_fifo #(
    .DATA_WIDTH(24),
    .FIFO_DEPTH(512)
) u_fifo (
    .wr_clk(pclk),
    .rd_clk(sys_clk),
    .din(pixel_data),
    .wr_en(pixel_valid),
    .rd_en(fifo_rd_en),
    .dout(fifo_dout),
    .empty(empty),
    .full(full)
);

常见坑：FIFO 深度不足会导致数据丢失；深度至少为 2× 最差情况下的时钟域差异。

约束文件编写

关键约束包括：像素时钟周期、输入输出延迟、异步路径伪路径。

# 像素时钟约束
create_clock -name pclk -period 6.734 [get_ports pclk_in]  ;# 148.5 MHz

# 输入延迟（HDMI 数据）
set_input_delay -clock pclk -max 1.0 [get_ports {hdmi_data[*]}]
set_input_delay -clock pclk -min 0.5 [get_ports {hdmi_data[*]}]

# 异步 FIFO 路径设为伪路径
set_false_path -from [get_clocks sys_clk] -to [get_clocks pclk]
set_false_path -from [get_clocks pclk] -to [get_clocks sys_clk]

验证与仿真

编写 testbench，生成 1080p 测试图像序列，验证 Sobel 输出与参考模型（Python OpenCV）一致。

// testbench 要点
initial begin
    // 生成 1920x1080 像素数据
    for (i = 0; i < 1920*1080; i++) begin
        @(posedge pclk);
        pixel_in = $random;  // 或从文件读取
        valid_in = 1;
    end
    // 检查输出
    wait (frame_done);
    $display("Frame processed, errors: %0d", error_count);
    $finish;
end

常见坑：仿真中未考虑 BRAM 读延迟，导致数据错位。解决方法：在行缓冲输出端插入流水线寄存器。

原理与设计说明

为什么选择行缓冲而非帧缓冲？ Sobel 算子仅需 3 行数据，行缓冲使用 BRAM 实现，延迟低（2 行周期），资源少（约 3×1920×8 = 46 kb BRAM），而帧缓冲需要 1080 行，占用大量 DDR 带宽且增加帧级延迟。

资源 vs Fmax 的权衡：Sobel 卷积使用 3 级流水线加法树，在 148.5 MHz 下满足时序，但 LUT 消耗增加约 200 个。若追求更低资源，可用串行乘法器，但 Fmax 会降至 100 MHz 以下。

色彩空间转换的简化：将 RGB 转灰度后直接映射到 YUV，省去了完整的色度处理，适合边缘检测应用。若需彩色输出，需保留 U/V 分量。

验证与结果

波形验证：使用 ILA 捕获行同步信号（HSYNC）与像素数据，确认 Sobel 输出在 HSYNC 有效期间稳定。

故障排查（Troubleshooting）

• 现象：输出图像撕裂或错位 → 原因：行缓冲读地址未对齐 → 检查：HSYNC 复位逻辑 → 修复：在帧开始处重置行计数器。
• 现象：帧率低于 30 FPS → 原因：像素时钟频率不足 → 检查：MMCM/PLL 配置 → 修复：调整倍频系数。
• 现象：图像花屏 → 原因：跨时钟域 FIFO 溢出 → 检查：FIFO 满标志 → 修复：增加 FIFO 深度或降低写入速率。
• 现象：时序违例（setup negative） → 原因：组合逻辑过长 → 检查：关键路径报告 → 修复：插入流水线寄存器。
• 现象：Sobel 输出全黑或全白 → 原因：阈值设置不当 → 检查：卷积结果范围 → 修复：调整阈值或使用自适应阈值。
• 现象：HDMI 无输出 → 原因：TX 初始化失败 → 检查：I2C 配置 → 修复：检查 ADV7511 寄存器写入。
• 现象：仿真结果与上板不一致 → 原因：未模拟 BRAM 延迟 → 检查：仿真波形 → 修复：在 testbench 中添加 BRAM 模型。
• 现象：资源超限 → 原因：未优化行缓冲 → 检查：综合报告 → 修复：使用 BRAM 而非分布式 RAM。

扩展与下一步

• 参数化：将 Sobel 阈值、图像尺寸、色彩空间设为可配置寄存器，通过 AXI-Lite 接口动态调整。
• 带宽提升：使用 DDR 帧缓冲实现多帧叠加或运动检测，需增加 AXI HP 接口。
• 跨平台移植：将 RTL 适配到 Intel Cyclone V 或 Lattice ECP5，注意 BRAM 与 PLL 差异。
• 加入断言与覆盖：在关键握手信号上添加 SVA 断言，在仿真中收集功能覆盖率。
• 形式验证：使用 JasperGold 验证跨时钟域 FIFO 的正确性。
• AI 集成：将 Sobel 输出作为 CNN 输入，在 PL 端实现轻量级神经网络加速。

参考与信息来源

• Xilinx UG949: Vivado Design Suite User Guide (Synthesis, Implementation, Timing Closure)
• Xilinx PG043: Video Frame Buffer Read/Write IP Core
• Digilent Zybo Z7-20 Reference Manual
• OpenCV Sobel 算子文档: https://docs.opencv.org/4.x/d2/d2c/tutorial_sobel_derivatives.html
• GitHub 示例仓库: https://github.com/example/dji_fpga_accel

技术附录

术语表

• 行缓冲：存储连续 N 行像素的移位寄存器，用于滑动窗口计算。
• Sobel 算子：边缘检测卷积核，计算水平和垂直梯度。
• 异步 FIFO：跨时钟域数据传输的缓冲器，使用格雷码同步指针。
• ILA：集成逻辑分析仪，用于片上信号捕获。

检查清单

• 时钟约束已添加，且与 PLL 输出匹配。
• 所有跨时钟域路径已设为伪路径或使用同步器。
• 行缓冲 BRAM 读延迟已补偿（插入流水线寄存器）。
• HDMI TX/RX 初始化序列正确。
• 仿真通过，且与上板结果一致。

关键约束速查

# 像素时钟 148.5 MHz
create_clock -name pclk -period 6.734 [get_ports pclk_in]
# 输入延迟
set_input_delay -clock pclk -max 1.0 [get_ports {hdmi_data[*]}]
# 伪路径
set_false_path -from [get_clocks sys_clk] -to [get_clocks pclk]