かんたんに言うと
AIが人間の意図や価値観からずれないようにする研究分野です。日本語では「整合性」と訳されます。
もう一歩くわしく
能力が高いAIほど、指示を字義通りに解釈して望ましくない方法で目標を達成してしまう危険があります。人間の評価をもとに振る舞いを調整する手法などが実用化されていますが、能力の向上に対策が追いつくかは未解決の問題として議論が続いています。
関連する用語
この用語が出てきたニュース
AIが人間の意図や価値観からずれないようにする研究分野です。日本語では「整合性」と訳されます。
能力が高いAIほど、指示を字義通りに解釈して望ましくない方法で目標を達成してしまう危険があります。人間の評価をもとに振る舞いを調整する手法などが実用化されていますが、能力の向上に対策が追いつくかは未解決の問題として議論が続いています。