かんたんに言うと
AIをわざと攻撃して弱点を探す検証作業のことです。公開前の安全確認として行われます。
もう一歩くわしく
軍事演習で敵役を担うチームを赤軍と呼んだことに由来します。有害な出力を引き出せないか、規制を回避できないかを専門家が組織的に試し、見つかった問題を訓練や制限に反映します。主要なAI企業では公開前の標準工程になっています。
関連する用語
この用語が出てきたニュース
AIをわざと攻撃して弱点を探す検証作業のことです。公開前の安全確認として行われます。
軍事演習で敵役を担うチームを赤軍と呼んだことに由来します。有害な出力を引き出せないか、規制を回避できないかを専門家が組織的に試し、見つかった問題を訓練や制限に反映します。主要なAI企業では公開前の標準工程になっています。