蒸留とは？

英語ではDistillationと呼びます。大きなモデルが出した答えを教材にして小さなモデルを訓練することで、性能を保ったまま動作を軽く安くできます。スマートフォンで動くAIや、大量のリクエストを安く捌きたい場面で使われます。他社モデルの出力を無断で教材にすることは利用規約に触れる場合があり、議論の的にもなっています。