OpenAI、Google、Microsoft、Anthropicは10月30日、ウェブサイトが1つの設定だけで自分のコンテンツをAIの学習から外せる共通シグナルに対応すると発表した。これまでサイト運営者は、robots.txtファイルで各社のクローラーを1つずつブロックする必要があった。
何が起きたのか?
新しいシグナルの名前は__usage_ai-training。運営者はこれをrobots.txtに普通のルールと同じように書き込み、「私のコンテンツをAIモデルの学習に使わないで」と伝える。この提案は、Anthropicで標準化を担当するKevin Kelley氏が書いた草案として、インターネット技術タスクフォース(IETF)に提出された。まだ確定した標準ではなく、草案が更新されなければ2027年5月に失効する。
各社のスケジュールは異なる。Anthropicはすでに対応を始めたという。OpenAIの対応は今後数カ月以内。GoogleとMicrosoftは2027年を目指す。MicrosoftはBing向けに、学習と「グラウンディング」、つまりチャットボットが回答時に情報源を参照することを区別する別の設定も追加する。Googleは、このシグナルを使いながら独自のGoogle-Extendedルールを書いていないサイトを、Google-Extendedをブロックしたものとして扱うとした。Metaは共通シグナルに関心を示したが、従うかどうかは明らかにしていない。
なぜ重要なのか?
出版社は何年も前から、自分たちのコンテンツが無断でモデルの学習に使われていると訴えてきた。The New York TimesはこれをめぐってOpenAIを提訴している。1行のシグナルは小さなサイトの運営者にとって作業を大きく楽にする。ただし限界もある。従うかどうかは任意で、監視も罰則もなく、小規模な研究所やオープンソースのプロジェクトは合意の外にいる。さらにこのシグナルは学習だけが対象で、AIの要約によってサイトへの訪問者が減るといった問題には触れていない。
歴史とのつながり
robots.txtのルールは、ウェブがまだ若かった1994年に、ボットに「ここには入らないで」と伝えるために生まれた。ウェブが始まった場所の話は、記事最初のウェブサイトは今も公開中:info.cern.chの物語で紹介している。30年後、同じ小さなファイルがAI時代の交渉の場になった。