AIの最大手企業たちが、スクレイピングをオプトアウトする新たな方法を支持

OpenAI、Google、Microsoft、Anthropicは、出版社がAIによるスクレイピングをオプトアウトするために使用できる新たな共有「ポリシートークン」信号を支持することで合意した。このトークンは、Anthropicの標準技術リードであるKevin Kelley氏がInternet Engineering Task Force（IETF）の枠組みで提案したもので、長年ウェブクローラーのアクセス可否を示してきたウェブサイトのrobots.txtファイル内に置かれる。現在、出版社はAI企業ごとに個別にAI学習の設定を行う必要があるが、この共有トークンにより複数企業に対して一括で設定を適用できる。4社は、トークンを検出した場合、自社のAIクローラーによるサイトへのアクセスを制限すると述べている。Microsoftはさらに、出版社がAI学習とAI grounding（検証済みの情報源にAIモデルを誘導してハルシネーションを減らすプロセス）をそれぞれオプトアウトできる詳細な制御を提供し、設定に関わらずサイトは引き続きBingの検索結果に表示されると注記している。Anthropicはすでにこの信号を採用しており、GoogleとMicrosoftは来年のサポートを予定し、OpenAIは「今後数カ月」で実装するとしている。この動きは、出版社がAIクローラーの急増に苦慮する中で起こっており、一部はクローラーに課金できるReally Simple Licensing（RSL）標準や、CloudflareによるAIクローラーのデフォルト遮断といった代替策に乗り出している。

(出典：The Verge)