#AI
NVIDIA 發展只用 fp4 訓練而相較於 fp8 幾乎沒有損失正確性，也就是記憶體用量只需要幾乎一半，速度快 2 到 3 倍。
使用了四項保持正確性的技術，缺一不可（實驗中移除其中任何一項都會導致正確性大跌）。另外最終模型中仍會保留 10-15% 的 fp16 層以維持穩定性。God of Prompt (@godofprompt) on X