パープレキシティと知能

OpenAI
OpenAIは、AIの進歩を追跡する共有指標としてパープレキシティを提唱し、それに基づく業界全体の安全制限を提案する。

概要

本記事は、現代のAI開発が本質的に大規模データセット上での圧縮器(モデル)の訓練に依存しており、パープレキシティ(または交差エントロピー損失)がこの「知能の基盤」の進歩を測る重要な指標であると論じている。著者は、パープレキシティの低下と創発的能力の相関を追跡している:GPT-2(一貫した段落)、GPT-3(文脈内学習)、GPT-3.5(流暢な会話)、GPT-4(思考の連鎖推論)、そして最近の対数パープレキシティが0.8を下回るモデルがサイバーセキュリティや数学などの分野で変革的な能力を示している。記事は、これらの能力がパープレキシティの閾値だけから先験的に予測できなかったことを強調する。著者は、フロンティアモデル開発者がモデル評価と安全レッドチーミングの共有規範を確立すべきであり、透明性基準とパープレキシティなどの指標で測定される開発の共通制限を含めるべきだと提案する。これらの制限は、思考の連鎖モニターの後継など、AI行動の理解と監視における具体的なマイルストーンが達成されるまで維持される。記事は、パープレキシティを共有指標とする際の課題——異なるデータセットによる研究所間比較の困難さ、実用的評価との乖離、事前訓練以外の進歩(思考の連鎖推論など)を考慮しないこと、未知の下限——を認めつつも、パープレキシティは時間の試練に耐えており、AIの進歩に関する議論の標準化に重要な役割を果たし得ると主張している。

(出典:OpenAI)