AIモデルは危険を認識してもメンタルヘルス危機への支援に失敗する

Scale AIはDistressBenchを発表した。これは、自殺や自傷の危機に直面している人に対してAIモデルが適切な支援を提供するかどうかをテストする、臨床医が作成したベンチマークである。718の臨床医が書いた会話を用いて25のフロンティアモデルを評価し、それぞれの会話には役立つ応答に含まれるべき具体的な基準が設定された。調査結果は、危険を認識することと適切に応答することの間のギャップを示している。モデルが危機を認識した会話の3分の1以上で、依然として支援やリソースを提供できなかった。平均して、モデルは必要な応答ステップのほぼ30%を省略した。特に注目すべきは、失敗した自身の応答とより良い応答を並べて示されると、ほとんどのモデルはより良い応答を識別できたが、それでも提供を拒否したことである。著者らは、このようなベンチマークが研究者に応答の不足点と改善すべき点について具体的な証拠を提供し、人々が最も困難な瞬間にAIに頼るようになる中で、その要求に追いつく安全テストの必要性を強調することを望んでいる。

(出典：LinkedIn)