かんたんに言うと
お願いしてから返事が返ってくるまでの待ち時間です。短いほど速く感じます。
もう一歩くわしく
AIモデルでは、入力してから応答が始まるまでの時間を指すことが多い言葉です。軽量なモデルほど低レイテンシで動かしやすくなります。一方で、大型のモデルは性能が高い代わりに応答が遅くなりがちです。モデルを選ぶときは、性能と速さのどちらを優先するかが判断の分かれ目になります。
この用語が出てきたニュース
お願いしてから返事が返ってくるまでの待ち時間です。短いほど速く感じます。
AIモデルでは、入力してから応答が始まるまでの時間を指すことが多い言葉です。軽量なモデルほど低レイテンシで動かしやすくなります。一方で、大型のモデルは性能が高い代わりに応答が遅くなりがちです。モデルを選ぶときは、性能と速さのどちらを優先するかが判断の分かれ目になります。