2026年,全国大学生FPGA创新设计大赛,选题‘基于FPGA的实时手语识别系统’,在实现摄像头图像采集、手部关键点检测和时序动作分类时,如何利用FPGA的流水线并行处理视频流并部署轻量级LSTM网络?
我们团队想参加2026年的全国大学生FPGA创新设计大赛,选题是‘基于FPGA的实时手语识别系统’。初步思路是用摄像头采集视频,在FPGA上实现手部检测和关键点提取,然后对连续的关节点坐标序列用LSTM网络进行分类识别。最大的挑战是如何在资源有限的FPGA上(比如Artix-7)高效地处理连续的图像流,并将LSTM这种时序网络进行硬件加速。我们该怎样设计流水线来处理图像预处理和特征提取?对于LSTM的矩阵乘法和非线性激活函数,有没有适合FPGA的优化架构?如何平衡识别精度和实时性?