かんたんに言うと
AIが危ない頼みごとに「それはお答えできません」と断る振る舞いのことです。作る側が訓練で身につけさせています。
もう一歩くわしく
いまの対話AIは、危険物の作り方など非常に多くの種類の依頼を断るよう訓練されています。ただ、拒否は訓練で作られた振る舞いにすぎず、AIの安全をこれに頼りすぎることへの懸念も出ています。断りすぎれば使いにくくなり、断らなさすぎれば悪用されるため、そのバランスは開発側にとって大きな課題です。
AIが危ない頼みごとに「それはお答えできません」と断る振る舞いのことです。作る側が訓練で身につけさせています。
いまの対話AIは、危険物の作り方など非常に多くの種類の依頼を断るよう訓練されています。ただ、拒否は訓練で作られた振る舞いにすぎず、AIの安全をこれに頼りすぎることへの懸念も出ています。断りすぎれば使いにくくなり、断らなさすぎれば悪用されるため、そのバランスは開発側にとって大きな課題です。