かんたんに言うと
AIが長い文章を扱うとき、途中の計算結果をとっておく仕組みです。ここがメモリを大量に使います。
もう一歩くわしく
生成のたびに過去の入力を計算し直さずに済ませるための保存領域で、文脈が長くなるほど占有量が増えます。DeepSeek-v4.1 Flash はこの部分の圧縮を前面に出しており、同じGPUでより長い入力や多くの同時利用をさばけるようになります。推論コストに直結するため、自前でモデルを運用する事業者には実利の大きい改良です。
この用語が出てきたニュース