robots.txtでAI学習を拒否する前に|止まるものは何か

robots.txtでAI学習を拒否する前に

回答: 今回の発表を理由に、急いで robots.txt を書き換える必要はありません。Google が公表したのは、複数の AI 提供事業者に共通のコントロールへ2027年初頭の対応を目指すという段階の話です。ただし押さえておくべき点が1つあります。Google の場合、AI 学習と、Gemini Apps の回答に引用されてクリックをもらう仕組み(グラウンディング)は、同じ `Google-Extended` というスイッチにぶら下がっています。「学習されたくない」で反射的に閉じると、拒否した範囲はグラウンディングの対象からも外れ、そこを通じた流入の機会も一緒に閉じることになります。一方で、Google 検索の掲載と順位には影響しません(公式に明記あり)。他の AI サービスや、Google 検索の中の AI 生成機能は別の仕組みなので、同じ1行でまとめて決まるとは考えないでください。今日やることは、自社サイトの robots.txt を1回開いて、今どちら側かを知っておくところまでです。

目次

この記事でわかること

  • 2026年10月30日に Google が公表した「共通の AI 学習コントロール」が何で、いつの話なのか
  • `Google-Extended` で拒否したとき、対象外になるもの(学習とグラウンディング=Gemini Apps で引用されクリックされる機会)と、影響しないもの(Google 検索の掲載・順位)
  • 自社サイトの robots.txt を15分で確認する手順と、記述を読み分けるときの注意点
  • `Google-Extended` の扱いを変えるかどうかを判断するときの材料

何が公表されたのか

答え: robots.txt に書く共通の「policy token(ポリシートークン)」で、複数の AI 提供事業者に対して AI 学習の可否を一度に表明できるようにする計画です。Google は、他の AI 提供事業者とともに2027年の対応を目指すと書いています。

出典は Google Search Central Blog の記事(John Mueller / Google Search Advocate 名義、2026年10月30日)です。要点は次のとおりです。

  • IETF の AIPREF ワーキンググループの成果に基づく
  • robots.txt の1つのトークンで、事業者ごとに別々の指定を書かなくても学習の可否を表明できるようにする
  • 他の AI 提供事業者とともに2027年の対応を目指す(=共通のコントロールは、まだ動いていない)
  • 事業者ごとの既存のコントロールは引き続き機能する(Google の場合は `Google-Extended`)
  • 共通トークンで学習をオプトアウトし、`Google-Extended` を明示的に指定していないサイトについては、Google は `Google-Extended` を disallow したものとして扱う予定

参照: Supporting a shared AI training control for websites(Google Search Central Blog) / AIPREF Working Group(IETF)

トークン名はブログ記事には出てきませんが、Google 公式のクローラー一覧のドキュメントには、AIPREF の共通の学習設定シグナル(`user-agent: __usage_ai-training`)を2027年初頭にサポートする意向として記載があります。対応前の予定なので、実際に設定する時点で最新のドキュメントを確認してください。

なお、Google 以外にどの事業者が参加するかは、どちらの公式情報にも書かれていません。報道で名前を見かけても、公式に確認できるまでは社内資料に固有名で書かないほうが確実です。

拒否すると何が止まり、何は止まらないのか

答え: 止まらないのは Google 検索の掲載と順位です。`Google-Extended` で拒否した範囲のコンテンツは、将来の Gemini モデルの学習と、Gemini Apps などのグラウンディングへの利用の対象から外れます。その結果として、グラウンディングを通じて引用されクリックされる機会に影響します。

Google の公式ドキュメントは `Google-Extended` について、サイトからクロールしたコンテンツを「将来の Gemini モデルの学習に使うか」と「グラウンディング(回答を作るときに検索インデックスの内容を参照する仕組み)に使うか」を管理するトークンだと説明しています。対象として挙げられているのは Gemini Apps と Vertex AI の Gemini 向け製品です。そして、「Google-Extended は Google 検索へのサイトの掲載に影響せず、Google 検索のランキングシグナルとしても使われない」と明記されています。

robots.txt の状態 Google 検索の掲載・順位 グラウンディングへの利用(=Gemini Apps の回答で引用されクリックされる機会) 将来の Gemini モデルの学習
`Google-Extended` を明示的に許可している 影響しない 対象になれる 対象になりうる
`Google-Extended` について何も書いていない 影響しない 対象になりうる 対象になりうる
共通トークンで学習を拒否し、`Google-Extended` は書いていない 影響しない Google は disallow として扱う予定 対象外として扱われる予定
`Google-Extended` に `Disallow: /` を指定し、許可する例外がない 影響しない 対象外 対象外

一部のパスだけを拒否した場合は、その範囲だけが対象です。 サイト全体を拒否するかどうかと、特定のディレクトリだけを拒否するかどうかは別の判断になります。

Google のブログ記事は、`Google-Extended` を明示的に許可しているサイトは、Gemini Apps のグラウンディングによる回答への掲載とクリックの対象になれると書いています。つまり「学習に使われるのは嫌だ」という理由だけで拒否側に振ると、この仕組みを通じて読まれてサイトに来てもらう経路のほうを閉じることになります。なお、ここで対象外になるのはグラウンディングを通じた引用であって、他の経路での言及やリンクまで止まるという話ではありません。

参照: Google-Extended(Google 公式・クローラーとフェッチャー一覧)

不動産会社としてどちら側に寄せるか

答え: 「自社サイトのページが、読まれて反響や問い合わせにつながることを期待しているか」で決まります。売却査定や購入相談の入口として記事やサービスページを置いているなら、引用されてクリックされる側に寄せるのが自然です。

判断するときに社内で答えておくと早い3つの問いです。

  1. 自社サイトのページは、何につながることを期待して置いているか。 反響・問い合わせの入口として置いているなら、AI の回答に出て読者がサイトに来る経路は流入の一部です。閉じる理由は弱くなります。
  2. 公開しているが、機械に読ませたくないと感じている情報が具体的にあるか。 「なんとなく嫌だ」ではなく、どのページのどの情報かまで言えるかを確認します。言えるなら、そのページだけを対象にする方法(ページ単位の指定)を制作会社と相談するほうが、サイト全体を閉じるより損が小さくなります。
  3. robots.txt を触れるのは誰か。 制作会社なのか、CMS の管理画面から変えられるのか、サーバーに直接置いてあるのか。変えると決めたときに1行を変えられる状態かどうかは、今のうちに確認できます。

向かないケース・注意点

  • 「AI 学習を拒否すれば自社のコンテンツが守られる」とは考えないでください。 robots.txt は希望を伝える仕組みで、Google の公式ドキュメントも「robots.txt の指示はクローラーの動作を強制できず、従うかどうかはクローラー側に委ねられる」「一部の検索エンジンは robots.txt のルールをサポートしない場合がある」と書いています(robots.txt の概要)。機密情報の置き場所の問題は robots.txt では解決しません。
  • 物件写真や図面についても、「学習に使わせない意思表示」と「第三者に見られたり転載されるのを防ぐこと」は分けて考えてください。 前者は、対応している事業者に対しては robots.txt の指定が効きます。後者は robots.txt では止まりません(robots.txt はアクセス制御の仕組みではありません)。掲載そのものの可否は、媒介契約や掲載許諾の範囲の話として別に扱ってください。
  • 今回の発表を理由に慌てて設定を変えない。 まだ動いていないのは「共通のコントロール」で、`Google-Extended` の指定自体は以前から設定できます。つまり急ぎの作業が増えたわけではありません。公開情報の使われ方と、AI 経由の流入をどう扱いたいかを踏まえて、必要になったときに判断してください。流入を測り始める前に閉じると、判断の材料のほうが先に無くなります。

今日できること(15分)

答え: robots.txt を1回開いて、`Google-Extended` の扱いを確認し、誰が管理しているかをメモするところまでです。設定は変えません。

  1. ブラウザのアドレスバーに `https://自社のドメイン/robots.txt` と入れて開く。 専門の道具は要りません。テキストが表示されます。表示されない場合は、それだけで「制限なし」と判断しないでください。 ファイルが置かれていない(404)のか、サーバー側のエラーや通信の失敗なのかで扱いが変わります。Google の仕様では、404 などはファイルが無いものとして扱われますが、サーバーエラーや通信エラーは一時的にクロールを控える扱いになります。表示されなかったときは、制作会社に取得状況(HTTP ステータス)を確認してください。
  2. `Google-Extended` の文字を探す。 ページ内検索(Windows なら Ctrl+F、Mac なら Command+F)で探します。
  3. 記述を読み分ける。 あわせて `User-agent: *` のグループも見てください。Google の robots.txt の仕様では、クローラーは自分の名前に一致するグループが無いときに `*` のグループに従います。つまり `Google-Extended` の記述が無くても、`User-agent: *` に `Disallow` があれば、その範囲は制限されている状態です。
見つかった記述 読み方
`Google-Extended` の記述がない `Google-Extended` 専用の指定はない状態。`User-agent: *` のグループが適用されるので、そちらに `Disallow` があるかを見る
`User-agent: Google-Extended` の下に `Disallow: /` サイト全体で拒否している。Gemini Apps の回答への掲載とクリックの対象から外れる
`User-agent: Google-Extended` の下に `Allow: /` 明示的に許可している。Gemini Apps の回答への掲載とクリックの対象になれる

`Allow` と `Disallow` が併記されていたり、グループが複数に分かれている場合は、この表だけでは判定できません。 その場合は「どの URL がどちらの扱いになるか」を制作会社に確認してください。

参照: robots.txt の書き方とルールの解釈(Google 公式仕様)

  1. コーポレートサイト・ブログ・LP が別ドメインやサブドメインなら、それぞれ確認する。 robots.txt はドメイン(ホスト)ごとに別のファイルです。「本体サイトは確認したがブログは別会社が作っている」というケースで食い違いが起きます。
  2. 誰が管理しているかと、今どうなっているかを1行メモする。 「robots.txt は◯◯(制作会社)が管理」「`Google-Extended` の記述は無し/`Disallow`/`Allow`」とだけ書いて、社内の台帳やドキュメントに残します。

ここまでが、今の状態を知るための確認です。確認した結果を見て、`Google-Extended` の扱いを今変えるかどうかは別の判断になります。急いで変える必要がある性質のものではありませんが、「2027年まで決めなくてよい」という意味でもありません。公開している情報を学習に使われることを避けたい事情があるなら、今の時点でも `Google-Extended` の指定はできます。逆に AI 経由の流入を取りにいく方針なら、明示的に許可しておく選択もあります。判断の材料は「何を優先するか」であって、2027年という時期ではありません。

変更が必要になったときは、制作会社に次の2点を伝えれば伝わります。「`Google-Extended` を許可(または拒否)したい」「他のページの表示や Google 検索の順位には影響しない設定である」。なお robots.txt の変更は、検索エンジン側が読み直すまで反映されません。Google の仕様では robots.txt の内容は通常24時間までキャッシュされるとされているため、入れた直後に挙動が変わらなくても異常ではありません。

よくある質問

AI 学習を拒否すると、Google 検索の順位は下がりますか

下がりません。Google の公式ドキュメントは `Google-Extended` について、「Google 検索へのサイトの掲載に影響せず、Google 検索のランキングシグナルとしても使われない」と明記しています。影響するのは Gemini Apps と Vertex AI の Gemini 向け製品の側です。

検索結果に出る AI の要約にも、同じ1行で効きますか

同じ1行で検索側まで決まるとは考えないでください。公式ドキュメントが `Google-Extended` の対象として挙げているのは Gemini Apps と Vertex AI の Gemini 向け製品で、Google 検索の掲載には影響しないと書かれています。検索結果の中の AI 生成機能をどう扱うかは別の仕組みの話になるため、必要であれば制作会社に個別に確認してください。

いつまでに決めればいいですか

共通のコントロールについては、Google が「2027年初頭の対応を目指す」と書いているだけで、サイト側に期日が課されている話ではありません。ただし `Google-Extended` の指定は以前から可能なので、「2027年まで何も決めなくてよい」ということではありません。学習に使われることを避けたい事情があるか、AI 経由の流入を取りにいきたいかがはっきりしているなら、今の時点でも判断できます。はっきりしていないうちは、現状の確認までで止めておいて構いません。

制作会社に任せている場合、何を聞けばいいですか

「当社の robots.txt に `Google-Extended` の記述があるか」「ブログや LP が別ドメインの場合、そちらはどうなっているか」の2点です。この時点では変更を依頼する必要はありません。

AI からの流入は、そもそも測れるのですか

参照元が AI サービスのものとして記録されるアクセスは、アクセス解析で分けて見られます。ただし AI の回答を読んだだけでサイトに来なかった分は数字に出ません。AI 経由の流入をどう見るかは、不動産会社がAI検索に載るためにやることで扱っています。

まとめ

  • Google が公表したのは、robots.txt の共通トークンで AI 学習の可否を表明できるようにする計画で、2027年初頭の対応を目指す段階です。この発表を理由に急ぐ作業はありません。
  • Google の場合、学習とグラウンディングは同じ `Google-Extended` にぶら下がっています。 拒否した範囲は、Gemini Apps の回答で引用されクリックされる機会からも外れます。他の AI サービスや検索結果内の AI 生成機能は別の仕組みなので、同じ1行では決まりません。
  • Google 検索の掲載と順位には影響しません。 これは公式に明記されています。
  • まず `https://自社のドメイン/robots.txt` を開いて、`Google-Extended` が今どう扱われているかと、誰が管理しているかを1行残してください。そのうえで扱いを変えるかどうかは、時期ではなく何を優先するかで判断してください。

AI の回答に載る側に寄せる場合、何を確認するかは不動産会社がAI検索に載るためにやることにまとめています。「自社が何もしていなくても、使っているサービス側の設定で情報の扱いが変わる」という同じ構造の話としては、反響メールのGmail、AIに許可していないかも合わせてご覧ください。

—

この記事を書いた会社

7plus株式会社 不動産会社向けの営業DX支援を行うITソリューションプロバイダーです。反響対応を即時化する「Mail2Link」「Mail2Link×AI」、ノーコード業務アプリ「BizBlock」の開発・提供に加え、Salesforce認定パートナーとして不動産特化型Salesforceパッケージの導入・定着コンサルティングも行っています。

詳しくはこちら → https://7plus.jp/

この記事を書いた人

目次