かんたんに言うと
小さくて速いAIに先に答えの続きを予想させ、本命の大きなAIがまとめて答え合わせをするやり方です。待ち時間を短くできます。
もう一歩くわしく
AIは通常、文章を1文字ずつ順に生成するため速度に限界がありますが、この手法では補助役の軽いモデルが数語先まで下書きし、本命のモデルが一度にまとめて検証します。予想が当たっていれば数語分を一気に確定でき、外れた部分だけ書き直すため、出力の中身は変えずに応答だけが速くなります。チャットの体感速度を上げる代表的な手法として、主要な推論基盤に実装が進んでいます。
この用語が出てきたニュース