新しいウェブカメラベースのAIシステムが人間の表情を読み取り、反応する

タリン大学の博士課程プロジェクトは、標準的なウェブカメラで人間の表情を分析し、デジタルキャラクターの反応をリアルタイムでアニメーション化する「Enactive Facial Expression Pipeline（EFEP）」を開発した。静的な画像に感情ラベルを割り当てるシステムとは異なり、EFEPは顔の行動を継続的な相互作用として扱い、個々の顔面筋運動（アクションユニット）を用いてより細かい制御を実現する。研究は既存のデータセットと、5つの想像上の社会的状況でビデオに反応する60人の参加者からなる新しいデータセットを組み合わせた。重要な発見は、3つの異なる表情分析ツール（iMotions、Mini-Xception、Py-Feat）が同じ録画に対して感情予測で一致しなかったことで、感情認識における方法論的問題を浮き彫りにした。プロジェクトは人口統計学的偏見にも取り組み、限られたグループで訓練されたモデルが不均一な性能を示し、多様な訓練データが偏見を減少させるが完全には排除しないことを示した。このシステムはインタラクティブメディアやクリエイティブアプリケーション向けであり、医療や雇用評価用ではない。研究者は、反応するデジタルフェイスが真の感情理解と等しくないことを強調している。

(出典：The Brighter Side of News)