AIAI開発横丁AI Dev Yokocho
メニュー
Search the alley

記事を検索

2文字以上でタイトル・カテゴリ・タグを検索できます。

CloudflareのAIクローラー設定とは？個人サイト運営者が確認するAI traffic options

CloudflareのAI Crawl Controlを、検索・AI学習・エージェントの設定に分けて解説。検索を残してAI学習を拒否する方法、robots.txt、Bingの例外、設定変更後の確認点を整理します。

公開 2026.07.03 / 更新 2026.09.26

この記事のポイント

  • 2026年9月15日の変更でSearch・Training・Agentの制御と旧設定の移行を確認する
  • 検索を維持して学習を拒否する設定と、検索botも止めるBlockを区別する
  • Bingのrobots.txt対応時期、Cloudflare設定、robots.txt、アクセスログを合わせて確認する

結論：検索・学習・エージェントを分けて設定する

Cloudflareは2026年9月15日、AI Crawl Controlの設定をSearch（検索）、Training（学習）、Agent（ユーザー指示での取得）に分けました。検索を残したまま学習利用を拒否するなら、Trainingの「AIトレーニングを許可しない」を選びます。旧Block設定をそのまま選ぶと、Googlebot、Bingbot、Applebotなど検索も担うクローラーまで止まる場合があります。

設定名ごとの動作と検索への影響

設定Cloudflareが案内する動作選ぶ前の確認
Training: AIトレーニングを許可しないBot Preference Syncが学習拒否の方針をrobots.txtに公開。CloudflareがAccountableと分類する混合用途botは検索を続け、その他の学習botはCloudflare側でブロックする検索を残したい場合の候補。効果はbotの分類と運営者の対応に左右される
Block / Block on pages with ads2026年9月15日以降、検索と学習を兼ねるbotにも適用Googlebot、Bingbot、Applebotも止め、検索に影響する場合がある
Search / Agent検索とユーザー指示のagentを別々に許可・制限Trainingと混ぜず、サイトの目的に合わせて設定する
旧Block AI Bots / Managed robots.txtより細かな設定とBot Preference Syncへ移行Cloudflareは多くの場合自動移行と案内。管理画面の現在値を確認する
新規ドメインの推奨値広告収益の有無で異なる初期プリセットを提案Cloudflareは広告サイトでSearch許可・Training拒否・広告ページでAgentをブロックする設定を推奨。最終判断はサイトの方針に合わせる

個人サイトでの現実的な確認順

  • CloudflareのzoneでSearch・Training・Agentの現在値と、適用中のWAFルールを記録する
  • 検索を残して学習を拒否したい場合はTrainingの「AIトレーニングを許可しない」を検討し、Blockとの違いを確認する
  • Bot Preference Syncが公開するrobots.txtを見て、BingのNOARCHIVEなど個別設定が必要か確認する
  • 変更後にCloudflareのcrawler logs、robots.txt、重要URLのHTTP応答と検索登録を確認する

Cloudflare AIクローラーFAQ

AIクローラーは全部ブロックすべきですか？

一律には言えません。検索流入、AI検索での引用、帯域、コンテンツ保護、サイト目的を分けて判断します。

robots.txtだけで十分ですか？

robots.txtは意思表示であり、無視するcrawlerを止める機能ではありません。CloudflareのAI Crawl ControlやWAFを使う場合も、別ルールによる影響とアクセスログを確認します。

検索を残してAI学習だけ拒否できますか？

CloudflareはTrainingの「AIトレーニングを許可しない」を案内しています。ただしBingへのrobots.txt連携はMicrosoftが開発中とされ、現時点の扱いはBing Webmaster Toolsで別に確認してください。

設定変更後に何を確認しますか？

主要ページ、sitemap、robots.txt、canonical、OGP、Search ConsoleやCloudflareログを確認します。

関連記事