2026年FPGA大赛备赛,用安路FPGA做实时AI语音识别,模型量化到INT8后精度掉到60%,怎么用知识蒸馏和校准集恢复?
我们团队今年用安路FPGA做大赛项目,选了实时AI语音识别方向,模型从float32量化到INT8后精度直接从92%掉到60%,完全没法用。试了常规的校准集和KL散度调整,效果不明显。听说知识蒸馏能提升量化后精度,具体怎么操作?是要先训练一个float32的大模型当teacher,再让INT8小模型学吗?校准集需要多少样本才够?有没有人分享下安路FPGA上语音识别量化的踩坑经验?