Verilog小白2024分享点实战踩坑经验。目标高帧率，第一关是图像采集带宽。如果用的是高清摄像头，比如1080p @ 60fps，原始数据量巨大（~190MB/s）。FPGA片内BRAM肯定不够存整帧，所以必须用流式架构，也就是前面说的流水线。但这里有个坑：算法中如果有需要随机访问整幅图像的操作（比如某些全局阈值计算），就会打破流水线。我们的解决方法是：用硬件逻辑在流式过程中同时统计直方图等信息，或者用多行缓存配合来模拟‘准全局’信息。第二，资源分配。DSP和BRAM要精打细算。用Vivado/HLS的合成报告仔细看资源利用率。像高斯滤波、Sobel边缘检测这些常用操作，都有成熟的流式IP核或者自己写也不难。第三，验证策略。先在高层次（如Python/Matlab）把算法定点化模型仿真好，确定精度损失可接受，再用Verilog/SystemVerilog或HLS实现。最后，别忘了留出足够资源给最后的分类结果输出和交互控制（比如UART或以太网传结果）。整个系统时钟频率不要设得太激进，150MHz左右通常够用，重点是并行度。
从算法优化角度聊聊。要满足高帧率低延迟，算法必须为硬件而生。首先，考虑降低处理分辨率，比如摄像头是1080p，但可以先在FPGA里用硬件逻辑做双线性缩放到320x240，计算量立马减少一个数量级。手势分割，背景减除在动态场景不好用，肤色模型简单但受光照影响大。我们当时用了基于YCrCb色域的椭圆肤色模型，配合形态学滤波（腐蚀膨胀），这些操作都可以用窗口缓冲区（行缓冲）实现流式处理，每个时钟周期都能输出一个处理后的像素。关键点提取，如果不用神经网络，可以用轮廓跟踪结合凸包检测的硬件算法，需要仔细设计状态机。如果要用轻量CNN，一定要做定点量化，我们建议先用8位整数（INT8）尝试，训练时就用量化感知训练。DSP切片用来做定点乘加，但要注意DSP切片是有限资源，要估算好。可以把权重放在BRAM里，通过并行读取多个权重来提升吞吐量。一个技巧：把卷积层拆解成多个通道并行计算，充分利用FPGA的并行性，即使单个DSP频率不高，但并行数量多，总体吞吐量就上去了。
我们去年做过类似项目，当时目标是60fps VGA分辨率。流水线设计是关键，不能等一帧处理完再开始下一帧。我们的架构是：摄像头接口（MIPI/ DVP）进来后，先进入一个乒乓操作的帧缓存（用两个Block RAM轮换），这样采集模块和预处理模块可以同时工作。预处理（比如RGB转YCrCb做肤色初筛）紧跟着，这个模块输出不是整帧，而是按像素流出的，这样后续模块可以立即开始工作，不用等整帧。手势分割和关键点提取我们用了连通域标记的硬件优化版，也是流式处理，标记过程用到了片上BRAM做临时标签表。分类部分，我们用了二值化神经网络，所有权重和激活都是1bit，大幅减少DSP消耗，用LUT实现XNOR和popcount就行。整个流水线从像素进入到最后分类结果输出，延迟控制在3行像素时间内，远低于帧间隔，轻松跑到60fps。建议你们重点设计好数据流，让每个阶段都处理‘飞行中’的数据，避免任何阶段的阻塞。
