「AIに学習されたくないなら、検索からも消える覚悟をしろ」。7月からずっと、そう言われていた。期限は9月15日。その当日、話が変わった。
前回の記事で、Googleが答え作りに効いた記事へお金を払い始めた話を書いた。今日はその逆側。払われる前に「使わせない」と言う側の話。
9月15日は、元栓を締める日になるはずだった
7月2日のSearch Engine Journalが、Cloudflareの予告を伝えていた。同社はクローラーを「検索」「エージェント」「学習」の3つの行動で仕分けられるようにして、9月15日からは一番厳しいルールを優先して当てる、と。
何が起きるか。GooglebotもApplebotもBingbotも、検索のためにも学習のためにも同じボットで来る。だから「学習はお断り」と設定すると、この3つが丸ごと止まる。検索の分も一緒に。
これがきつかったのは、robots.txtの一行と違って、Cloudflareのブロックはネットワークの手前で効くからだ。お願いじゃなくて、扉が閉まる。SEJはあのとき、記事をこう締めていた。大手が行動ごとにボットを分けるかどうかが、これを本物の選択肢にするか、それとも学習の拒否と検索での見つかりやすさの間の妥協にするかを決める、と。
期限の日に、その答えが出た。
「説明責任のある」という札を作った
9月15日、Cloudflareがブログで新しい設定を出した。名前は「Disallow AI Training」。これを選ぶと、robots.txtに「学習はしないで」という意思表示が出る。そのうえで、GooglebotとApplebotとBingbotは検索のために回り続ける。
丸ごと止めたい人の道も残っている。「Block」を選べば、この3つは検索の分まで完全に止まる。つまり二択が二択でなくなって、選択肢が増えた。
面白いのは、その線の引き方だ。検索を続けられるのは、Cloudflareが「Accountable（説明責任がある）」と札を付けた運営者のボットだけ。札をもらうには4つの条件を満たすか、満たすと約束するかが要る。robots.txtか同等の仕組みで学習を断れること。AIの要約から外れる手段を用意すること。どのページが学習に回されたかをURL単位で見られて、検索でどう出たかの数字も出すこと。そして、学習を断っても通常の検索結果に響かないと保証すること。
Cloudflareは7月から、クローラーを動かしている会社に直接話をしに行っていた。ほとんどが、サイト側に決める権利と透明性があるべきだという点に同意したという。その結果、Apple・Google・Microsoftの3社が条件を満たすと認められた。AmazonとAnthropicとMetaとOpenAIも札はもらっているけど、こちらは事情が違う。検索用と学習用のクローラーを最初から別々に走らせているから、学習のほうだけ止めても検索に響かない。この設定でも、彼らの学習クローラーは止まったままだ。
ブロックは、ボットを追い出すだけで、ボットのふるまいは変えない。だから運営者のほうに、そもそも選ばせない形をやめてもらう。Cloudflareのこの運びは、うまい。
数字も出ている。Cloudflareを使っているサイトのうち、検索のボットを止めているのは1%未満。一方で、学習を止める何らかの仕組みを入れているサイトは17%ある。検索は歓迎、学習は嫌、という人が確実にいて、その人たちがずっと片方を諦めさせられていた。
学習は断れる。答えに出るかは、別のスイッチ
ここで喜びすぎないほうがいい。断れるようになったのは「学習」だけだ。
Googleの場合、この設定が動かしているのはrobots.txtの「Google-Extended」という札で、Googleの公式ドキュメントにも、Google-Extendedは検索への掲載にも順位にも影響しないと書いてある。逆に言うと、影響しないのはそこまで。
自分の記事がAI OverviewsやAI Modeに出るかどうかは、Search Consoleの別の設定が決めている。8月31日に全世界のサイトで使えるようになったあれだ。しかもGoogleのヘルプには、この設定は学習には影響しない、とはっきり書いてある。学習を断つスイッチと、答えに出るのを断つスイッチは、最初から別の場所にある。そして後者はCloudflareからは触れない。
Bingはもっと手前にいる。robots.txtで「学習しないで」を受け取る仕組みをMicrosoftが作っている最中で、目標は2027年の初め。それまでは、この設定を選んでもBingには意思表示が届かない。今はNOARCHIVEというメタタグか、Bingの削除ツールで言うしかない。
Cloudflare自身も、そこは分かって書いている。次の焦点はAIの要約だ、と。学習は「作るのに使っていいか」の話で、要約は「人が自分のサイトに来るかどうか」の話。分けて考えないといけない。しかもサイト全体で出す・出さないの二択はまだ大ざっぱすぎるから、来年の初めまでに、Cloudflareで一度設定すればどれだけ含めるかを決められる形にしたい、と言っている。
今日やることは、たぶん何もない
ありがたいことに、ほとんどの人は何もしなくていい。今の設定は自動で引き継がれる。学習を止めていた人は新しい「Disallow AI Training」に移される。古い「Block AI Bots」とManaged Robots.txtは廃止される予定だ。広告で稼いでいる新しいドメインには、最初から学習お断りの設定がおすすめとして出てくる。
逆に、ボットを丸ごと入れたくない人は、これからは自分で「Block」と言う必要がある。黙っていると検索は通る側に置かれる。ここだけは、自分の設定を一度見ておく価値がある。
前回の記事は、Googleが記事にお金を払い始めた話だった。今日は、払われる前に断る手段が整った話。同じ週に、蛇口と元栓が両方いじられている。ただ、どっちのつまみもGoogleの側に付いていることは変わらない。払う額を決めるのもGoogleなら、学習と答えのスイッチを別々に置いているのもGoogleだ。
それでも、7月に「検索を諦めるか、学習を許すか」と迫られた人からすれば、今日の一件は素直にいい知らせだと思う。二択を突きつけていた会社が、期限の当日に二択をやめた。こういう向きの変わり方は、あんまり見ない。
参考・引用記事
- Have it both ways: stay discoverable in search while disallowing AI training（Cloudflare Blog）
- Cloudflare Lets Sites Disallow AI Training Without Blocking Googlebot（Search Engine Journal）
- Cloudflare's AI Crawler Rules Can Block Googlebot（Search Engine Journal、2026年7月2日）
- Google's common crawlers（Google 開発者向けドキュメント）
- Search generative AI control（Google Search Console ヘルプ）
