過信している大規模言語モデルを特定するためのより良い方法

大規模言語モデル（LLM）は、説得力のあるものの不正確な応答を生成することが多いため、信頼性を評価するための不確実性定量化手法が求められています。現在の手法は主に自己信頼度を測定しますが、LLMは自信過剰になりがちであるため、誤解を招く可能性があります。この問題に対処するため、MITの研究者たちは、ターゲットモデルと類似のLLMのグループ間の不一致を測定する「認識論的不確実性」を測定する新しいアプローチを導入しました。これは、従来の手段よりも誤った自信のある応答をより確実に識別します。彼らはこれを自己整合性の尺度と組み合わせて、「総不確実性」指標（TU）を作成し、10のタスク（質問応答や数学的推論など）で他の尺度を常に上回りました。この改善された不確実性定量化により、信頼できない予測を特定し、LLMのトレーニング中に正しい回答を強化することで、パフォーマンスを向上させることができます。研究者たちは、異なる企業によってトレーニングされたモデルを使用することが、認識論的不確実性を測定するための最も効果的なアンサンブルであることを発見しました。

(出典：MIT News | Massachusetts Institute of Technology)