我们团队今年用国产安路FPGA参加FPGA大赛，做实时AI语音识别，模型是轻量级RNN-T，量化到INT8后LUT和BRAM还是爆了。除了常规剪枝，听说脉动阵列和稀疏化能硬挤资源，但网上教程太理论。求大神分享具体步骤：脉动阵列怎么划分权重和激活？稀疏化是权重置零还是激活置零？安路开发工具里有没有现成IP支持？另外，稀疏化后计算单元怎么跳过零值？有没有开源的Verilog代码参考？
回答 4
脉动阵列在安路上做，你得分清权重驻留还是数据驻留。RNN-T这种时序模型，建议权重驻留，把权重矩阵拆成16×16或8×8的tile，每拍只算一个tile内的乘累加，这样BRAM存一个tile的权重就行，LUT省下来做控制。别想着一次性算完，那是大芯片的做法。
稀疏化这块，权重置零比激活置零好落地。激活值每帧都在变，你搞个门控跳过零值，控制逻辑反而吃LUT。权重稀疏化可以训完模型后按阈值置零，再用硬件在加载权重时跳过零值权重列——用个索引表存非零权重的行列号，脉动阵列里每列配一个valid信号，权重为零时直接让乘累加器输出0。安路官方没直接支持，但你可以参考Xilinx的Sparse Matrix IP的架构，自己写个简单的。开源代码GitHub上搜"fpga sparse rnn"，有几个轻量的RNN加速器项目能当起点。
你们现在LUT和BRAM爆了，我先问个关键问题：模型量化后参数量大概多少？RNN-T的编码器、预测器、联合网络三块，哪块最吃资源？搞清楚这个再动手。脉动阵列的具体步骤：先确定PE阵列尺寸，比如8×8，每个PE里放一个乘累加器和BRAM切片存权重。权重按行主序预存到BRAM，激活值从外部RAM逐拍喂入，阵列内部用移位寄存器传数据。稀疏化我建议走结构化稀疏——按行或按列把权重整块置零，这样硬件跳过时只需判断一行或一列的valid标志，不用每个权重都查索引表，控制逻辑省一半LUT。安路TD软件里没有专用稀疏化IP，但你可以用Distributed RAM做零值掩码表。风险点：稀疏化后精度掉多少得提前测，别为了省资源让模型识别率从90%跌到70%。开源代码推荐搜"SparseRNN-FPGA"，有个用PyTorch训练后导出权重索引表的完整流程。你们现在卡在哪个环节？是权重划分不会，还是跳过零值的状态机写不出来？
第1条太短了，补充一下：其实你也可以考虑把RNN-T的联合网络那部分用查表法代替乘累加，如果权重稀疏度够高，查表比PE阵列更省BRAM。安路芯片的LUT能当移位寄存器用，查表法正好吃这个。
发表回答
登录后可在本页底部提交回答
游