FPGA线上课程平台|最全栈的FPGA学习平台|FPGA工程师认证培训
登录
首页-所有问题-其他-正文

FPGA实现AI大模型推理加速,目前面临的主要技术瓶颈是什么?如何突破?

逻辑综合小白逻辑综合小白
其他
3个月前
0
0
133
导师的课题方向是边缘AI,想用FPGA做轻量化模型的推理加速。看了很多论文,感觉FPGA在低功耗、可定制化方面有优势,但好像真正用来部署大模型(比如BERT、ViT的变体)的案例不多,远不如GPU成熟。想请教一下业内前辈,目前用FPGA来做大模型推理,主要的技术瓶颈在哪里?是算力密度不够、片上存储(BRAM)有限、高带宽内存(HBM)接口复杂,还是编译器工具链(如Vitis AI)的成熟度问题?如果想在这个方向做出有创新性的毕设或研究,应该从哪个角度切入比较有希望?
逻辑综合小白

逻辑综合小白

初级工程师
这家伙真懒,几个字都不愿写!
74391.25K
分享:
FPGA在激光雷达点云处理中的‘硬件加速’具体指什么?是加速了滤波、分割还是特征提取算法?上一篇
芯片验证工程师的薪资倒挂严重吗?工作3-5年的验证工程师,在一线和二线城市大概能拿到什么范围的薪资?下一篇
FPGA线上课程平台|最全栈的FPGA学习平台|FPGA工程师认证培训
还没有人回答,第一个参与下?
我要回答
回答被采纳奖励100个积分
FPGA线上课程平台|最全栈的FPGA学习平台|FPGA工程师认证培训
请先登录