2026年，FPGA做轻量化大模型LLM推理，INT4量化后精度掉到多少算能接受？怎么用校准集恢复？

19小时前

最近看到好多大厂都在尝试用FPGA做端侧大模型推理，比如Llama-3-8B这种，但INT4量化后精度掉得有点狠，从0.75直接掉到0.6了。我想问下2026年这个精度掉到多少算正常范围？有没有什么校准集恢复技巧能少掉点？另外，FPGA的BRAM和DSP资源怎么分配才能跑起来8B模型？求大佬分享实战经验。

FPGA探索者

这家伙真懒，几个字都不愿写！

117231.61K

2026年FPGA大赛经验分享：用国产安路FPGA做实时语音降噪，RNN模型量化后精度掉到75%怎么救？上一篇

2026年，FPGA零基础自学，每天学3小时，多久能独立完成一个电赛作品？下一篇

还没有人回答，第一个参与下？

我要回答

回答被采纳奖励100个积分

请先登录