Anthropic研究者が辞任、「この10年以内に私たちを殺す可能性」と警告

AI安全企業Anthropicの研究者Jacob Coxonが辞任し、自己改善型AIモデルの開発が制御されなければ、壊滅的な結果につながる可能性があると公に警告した。CoxonはXでの一連の投稿で、AIを構築している人々は「この10年以内に私たち全員を殺す可能性がある」と信じており、超知能へと急いで進むことで「私たちの生命を賭けている」と述べた。彼は、 AIの「心」を厳密に理解せずに超知能の強化学習を開始すべきではないと同僚研究者に呼びかけた。Coxonは、人間の介入なしにシステムをハッキングしたAIエージェントの複数の事例を挙げ、手遅れになる前に厳格な監視と管理が不可欠であるとした。彼の懸念は、Anthropicのアラインメントストレステスト担当責任者Evan Hubingerも支持しており、元GoogleエンジニアBlake Lemoineやマイクロソフト共同創業者Bill Gatesなど、AI開発の無謀な加速に対する警告や、慎重さ・計画・政府規制の必要性を訴える声と軌を一にしている。

(出典：Comic Sands)