Verilog入门者从系统角度拆解：延迟 = 传感器延迟 + 传输延迟 + 处理延迟 + 输出延迟。FPGA主要优化处理延迟。1. 传感器选全局快门CMOS，避免卷帘快门带来的行间延迟。2. 传输用并口直接接FPGA IO，别经过桥接芯片。3. 处理架构：采用‘行级流水线+并行计算单元’。例如，色彩转换和二值化可以合并为一级，在一个时钟周期内完成；边缘检测可以并行处理多个像素（比如同时计算3x3窗口的多个卷积核，但资源有限时可能只做水平检测）；中线拟合可以每N行输出一次结果，而不是等整帧，这样控制MCU能更早得到引导线。存储架构：用双端口RAM做行缓存，实现3行滑动窗口供边缘检测使用。注意时钟规划：摄像头像素时钟可能几十MHz，FPGA内部流水线时钟尽量同步或倍频，避免异步FIFO带来额外延迟。最后，一定要做时序约束和流水线平衡，确保关键路径不超频。工具链报告里看最坏情况延迟，留20%余量。
参加过前几届，我们当时用FPGA做到了5ms以内。分享几点经验：1. 二值化别用固定阈值，用动态阈值（比如根据前几行图像统计），但这会引入行间依赖，需要小心设计流水线停顿机制。2. 边缘提取其实在智能车场景下可以简化，因为赛道边缘通常是黑白跳变，直接二值化后找跳变点就行，不需要复杂卷积，节省资源且延迟低。3. 中线拟合是关键延迟瓶颈。我们当时用‘前瞻点提取+最小二乘拟合’，但最小二乘计算量大。改进：在FPGA里用递推公式，每来一个边缘点就更新拟合参数，这样拟合是流水线化的，输出延迟极低。4. 资源有限的话，把算法量化到低比特位宽，比如灰度用6bit，中间计算用12bit，能节省DSP和逻辑资源，让流水线更短更快。注意：仿真时一定要用真实摄像头数据测试，模拟各种光照条件，否则实际跑起来阈值不对，全白忙活。
核心是让数据流动起来，别让任何一级停下来等。摄像头数据是逐行进来的，那就设计成流水线处理，进来一行处理一行，而不是等整帧存下来再处理。比如，第一级流水做色彩空间转换（RGB转灰度或特定二值化颜色判断），第二级紧跟着做二值化，第三级做边缘检测（比如用Sobel算子，但注意竞赛场景可能简化），第四级做中线拟合。每一级之间用寄存器或FIFO缓冲，保证数据连续流动。这样，从第一个像素输入到第一个结果输出，延迟只是流水线的级数乘以单个像素处理周期，远小于整帧处理时间。关键点：算法要适应流式处理，避免全局依赖（比如中线拟合如果用全图扫描就慢了，可以用逐行递推的滑动窗口或分段拟合）。存储访问上，尽量用片上RAM做行缓存，避免频繁访问外部SDRAM，那会引入很大延迟。
从系统架构角度给个思路。延迟=数据路径上所有环节处理时间的总和。要压到10ms以内，假设是60fps摄像头，一帧时间约16.67ms，你的处理必须在半帧内完成，其实挺紧张的。建议：1. 用硬件模块实现色彩转换和二值化，这两个操作是逐像素独立的，可以设计成高度并行的处理单元，比如一次处理8个甚至16个像素。2. 边缘检测需要邻域操作，设计多级流水线，并仔细规划Line Buffer的存储和读取，确保每个时钟周期都能输出一个边缘检测结果。3. 中线拟合可以拆解：在边缘检测的同时，用累加器实时计算边缘点的统计量（如坐标和、平方和等），一帧结束时，用很少的周期就能算出拟合参数。避免使用浮点，全部用定点数。整个数据流应该是单向流动，中间结果尽量用寄存器传递，避免频繁访问外部存储器。选择FPGA时，注意片上BRAM的大小要能放得下几行图像缓存。
我们去年就是这么干的，最后延迟压到了5ms以内。核心就一句话：别存整帧，流式处理。摄像头数据进来是逐行扫描的，那就一行一行处理，别等一帧收完。比如二值化，进来一个像素，马上和阈值比较，输出1bit结果，直接送到下一级。边缘检测可以用行缓存（Line Buffer），存前两行数据，这样第三行数据进来时，三行数据同时可用，马上就能做3x3的Sobel之类的运算。中线拟合更简单，在边缘检测那一步，就可以同时记录每行左右边缘点的坐标，一行处理完，这行的边缘坐标就出来了，等一帧快扫完时，用最小二乘法拟合中线的参数早就算好了。关键是把所有模块用流水线串起来，每个模块只延迟几行，而不是几帧。注意BRAM资源分配，行缓存别用太多。
分享个具体架构：摄像头接口收RAW数据，同时转RGB和灰度。灰度图进二值化模块，这里可以并行做多个阈值的二值化，适应不同光照，输出二值图。边缘检测模块用3x3窗口，需要三行缓存，用Shift Register实现最省资源。中线拟合部分，可以在二值图上按行扫描找左右边沿，然后直接用最小二乘法拟合直线，但拟合计算可以流水化：每找到一个点就更新累加和，最后一步算参数。整个流水线用状态机控制，确保数据不断流。测试时一定要用逻辑分析仪抓时间戳，从第一个像素进来到中线参数输出，算总延迟。常见坑是FIFO深度没设好导致溢出，或者组合逻辑太长降了频率。选FPGA时注意BRAM数量，至少够存10行图像。
从算法优化角度说，别在FPGA里搞太复杂的运算。比如二值化，直接用阈值比较，别动态算阈值；边缘检测用简单的Sobel，别用Canny。赛道识别其实不需要全图精度，可以降采样到320x240再处理，延迟立马降四倍。数据流设计上，一定要用AXI-Stream接口把各个模块串起来，避免总线瓶颈。存储方面，片上BRAM足够缓存几行数据了，千万别用外部DDR，那延迟就炸了。最后记得用寄存器打拍平衡时序，流水线越深，吞吐越高，但初始延迟会增加几拍，不过对整体帧延迟影响很小。
我们去年就是这么干的，延迟压到了8ms左右。核心就两点：像素级流水和片上缓存。RAW数据进来直接进流水线，每个时钟处理一个像素，中间不打断。色彩转换、二值化、边缘检测这些模块首尾相连，像工厂流水线一样。关键是要用双口RAM或FIFO做行缓存，避免反复读DDR。比如边缘检测需要上下三行数据，那就用三个行缓存滚动更新，新像素进来直接算，不用等整帧。中线拟合可以每扫完一行就局部拟合，最后再汇总，别等全图。注意时钟频率别太低，至少100MHz，这样一行1280像素也就12.8微秒，一帧按500行算，6.4毫秒就能流完，留足余量给算法。
