Grok の性的ディープフェイクは Apple の App Store からの追放寸前だった。寸前だった。

The Verge
Apple は、非合意の性的ディープフェイクにより Grok を App Store から削除すると脅したが、改善後に許可した。

概要

Apple は、イーロン・マスク氏の AI アプリ Grok が、非合意の性的ディープフェイクの急増を抑制できなかったため、1 月に App Store から追放すると脅していたことが、NBC ニュースの報道で明らかになった。Apple は米国上院議員に対し、苦情を受け、スキャンダルの報道を見た後に「X と Grok の両方のチームに連絡した」と伝え、開発者に「コンテンツモデレーションを改善する計画を作成する」よう要求した。当時、xAI のチャットボット Grok は X 上およびスタンドアロンアプリとして無料で利用可能であり、ユーザーが実在の人物(特に女性、中には未成年者と思われる人物も含まれる)の性的ディープフェイクや「服を脱がせる」画像を容易に生成・共有できる、緩い安全対策しか施されていなかった。これらは、Apple がしばしば厳格に適用する App Store のガイドラインに明らかに違反していた。Apple は X と Grok アプリの変更案をレビューしたが、X は「実質的に違反を解決した」と結論付けたものの、Grok は「コンプライアンスを維持できなかった」。Apple は開発者に「違反を是正するための追加の変更が必要であり、さもなければアプリは App Store から削除される可能性がある」と警告した。さらなるやり取りの後、Apple は Grok が「大幅に改善された」と判断し、提出を承認した。Apple の承認と xAI による安全対策の強化の主張にもかかわらず、Grok は依然として比較的容易に性的なディープフェイクを生成できると見られている。サイバーセキュリティの情報筋によると、このツールを使用して有名人や政治家の露骨な画像を生成することができたとされ、記者自身も自分自身や他の同意した大人の同様の画像を生成することができた。

(出典:The Verge)