かんたんに言うと
大きなAIモデルを速く動かすための、無料で使えるソフトウェアです。同じ機械でより多くの人の質問をさばけるようになります。
もう一歩くわしく
大規模言語モデルの推論（学習済みのモデルに答えを出させる処理）を効率化するオープンソースの実行基盤で、GPUのメモリの使い方を工夫して処理量を大きく伸ばします。自前でモデルを動かす企業や研究機関では事実上の標準的な選択肢のひとつになっています。AIサービスの費用の多くは推論にかかるため、ここが速くなるほど月々のコストが直接下がります。
この用語が出てきたニュース