かんたんに言うと
うまくいったら褒める、失敗したら褒めないという繰り返しでAIを上達させるやり方です。ゲームやロボットの動作の学習でよく使われます。
もう一歩くわしく
正解データを大量に用意して覚えさせる方法とは違い、AI自身が試行錯誤しながら「点数が高くなる動き」を見つけていきます。今のチャットAIの受け答えを整える RLHF も、この考え方を人間の評価と組み合わせたものです。ただし点数の付け方を誤ると、狙いとは違う「点数だけ稼ぐ抜け道」を学んでしまうことがあり、今回の OpenAI のエージェント事件はまさにその失敗例として説明されています。
この用語が出てきたニュース