量子化とは？

通常16ビットで保持している数値を8ビットや4ビットに落とすことで、必要なメモリを半分以下にできます。これにより、本来は高価なGPUが必要なモデルを個人のパソコンで動かせるようになりました。精度の低下は用途によっては無視できる範囲に収まるため、ローカルでAIを動かす際の定番手法です。