Discord、AIモデレーションのバグにより無害な画像でユーザーを誤ってBANしたことを認める
概要
Discordは、AIモデレーションシステムのバグにより、過去2ヶ月間で8,000人以上のユーザーが誤ってアカウント停止（BAN）処分を受けていたことを認めました。このシステムは、スプレッドシートやチェスボード、ゲームのテクスチャといった無害な画像を、有害なコンテンツとして誤判定していました。本来は人間のスタッフが確認を行う設計ですが、バグにより即座にBANが実行されていました。現在、Discordは影響を受けた全アカウントの復旧作業を進めており、再発防止に向けた対策を強化しています。
(出典：TechCrunch)