FPGA线上课程平台|最全栈的FPGA学习平台|FPGA工程师认证培训
登录
首页-所有问题-其他-正文

2026年,想用FPGA复现一个‘简易版ChatGPT推理加速器’作为毕业设计,在资源有限的开发板上,应该如何选择并量化压缩一个开源的大语言模型(如Llama 2-7B)?

FPGA学号1FPGA学号1
其他
1个月前
0
0
41
导师建议我做AI硬件加速相关的毕设,想挑战一下用FPGA实现大语言模型的推理。目标是能在Zynq UltraScale+这类评估板上,以可接受的延迟运行一个简化版的对话模型。最大的困惑是模型太大,直接部署不可能。请问应该从哪些方面入手对模型进行压缩(如量化、剪枝、知识蒸馏)?有没有现成的工具链(如Vitis AI, TVM)可以辅助?在FPGA上实现注意力机制和矩阵乘法的核心计算单元,有哪些架构设计的注意事项?
FPGA学号1

FPGA学号1

这家伙真懒,几个字都不愿写!
138321.81K
分享:
2026年,想用低成本的FPGA开发板(如Artix-7)做一个‘开源硬件密码学协处理器’,支持国密算法(SM2/SM3/SM4),在实现侧信道攻击防护(如掩码、隐藏)时,如何评估其安全性和性能开销?上一篇
2026年春招,应聘‘芯片测试工程师’(ATE方向),如果只会用学校实验室的示波器、万用表,该如何快速学习并掌握业界主流的测试机台(如Advantest 93K, Teradyne UltraFLEX)和测试程序开发?下一篇
FPGA线上课程平台|最全栈的FPGA学习平台|FPGA工程师认证培训
还没有人回答,第一个参与下?
我要回答
回答被采纳奖励100个积分
FPGA线上课程平台|最全栈的FPGA学习平台|FPGA工程师认证培训
请先登录