投稿者 投稿日: カテゴリー AIニュース
2026年6月4日、Webインフラ大手のCloudflareのCEOであるMatthew Princeが、これからのWebは「pay to crawl（クロールに課金する）」へ向かうと発言しました。背景にあるのは、ネット上を流れるトラフィックの主役がすでに人間からボットへ移ったという事実です。CloudflareのデータではHTTPリクエストの57.4パーセントがボット由来で、人間由来は42.6パーセントにとどまりました。AIエージェント時代の到来が前倒しで現実になりつつある今、サイトを持つすべての事業者にとって他人事ではないテーマです。
何が起きたか：ボットが人間のアクセスを上回った
今回の発言はThe Decoderが報じたものです。Princeは、ボット・クローラー・AIエージェントによるトラフィックが、ついに人間によるインターネット利用を上回ったと指摘しました。CloudflareはWeb上の膨大なトラフィックを処理するインフラ企業であり、その観測網が捉えた数字だけに重みがあります。
注目すべきは時間軸です。Prince自身、この逆転が起きる転換点を当初は2027年後半と見込んでいました。ところが、AIエージェントの急増によって想定よりも大幅に早く現実になったといいます。生成AIが検索や情報収集の前面に立ち、人間の代わりにWebを巡回して情報を集めるようになった結果、サイトへのアクセスの過半数が「人ではない何か」によるものになったわけです。
そのうえでPrinceは、これからのWebは「pay to crawl」、つまりクロールしたい側が対価を払う仕組みへ移行すると述べました。Cloudflareは、必要とされるトラフィック量を支えるためのプロトコルとインフラを開発中だとしています。無制限・無償のクロールを前提としてきたこれまでのWebの常識が、根本から問い直されようとしている局面です。
なぜ重要か：「タダで読まれる」前提が崩れる
これまでWebは、検索エンジンのクローラーが無償でページを巡回し、その対価としてサイトに検索流入をもたらすという暗黙の取引で回ってきました。ところが生成AIのクローラーは、コンテンツを読み込んで回答に使う一方で、必ずしも元サイトへの訪問者を返してくれるとは限りません。コンテンツを提供する側だけがサーバー負荷とコストを負い、見返りが薄いという不均衡が広がっています。
ボットのアクセスが過半を占めれば、サイト運営者はサーバー費用の増加に直面します。同時に、どのクローラーに読ませ、どれをブロックし、どこに課金を求めるのかという新しい判断が必要になります。SEOやコンテンツ運用の担当者にとっては、優先すべきクローラーが不透明なまま、クロールアクセスそのものを収益化する戦略を考えなければならない時代に入ったといえます。
この動きは、AI検索の主役が次々と高性能化している流れと地続きです。2026年6月時点では、ChatGPT検索の背後にあるGPT-5.5系、Google AI ModeやGeminiの3.5系、AnthropicのフラッグシップであるClaude Opus 4.8など、各社の最新モデルがWebを参照しながら回答を生成しています。これらが参照するクローラーをどう扱うかは、コンテンツ発行者の収益構造に直結する論点です。
日本のEC事業者にとっての示唆
純粋なWebインフラの話に見えますが、日本のEC事業者やECメディア運営者にとっても無関係ではありません。とくに自社EC（ShopifyやBASEなどで運営する独自ドメイン）を持つ事業者は、AI検索のクローラーに自社商品やコンテンツがどう読まれ、どう引用されるかが、今後の集客を左右します。
まず押さえたいのは、AIクローラーを一律にブロックするのは得策ではない、という点です。AI検索やAI Overviewに自社商品が引用されれば、それ自体が新しい流入経路になります。一方で、無防備にすべてのボットを通せばサーバー負荷や情報の無断利用というリスクも残ります。robots.txtによる従来のクローラー制御に加え、AIエージェント向けにサイト構造を伝えるllms.txtの整備など、許可と制限を使い分ける設計が現実的な落としどころになります。
AIに正しく拾われるための準備も重要です。商品名や価格、在庫、レビューといった情報を構造化データで整え、AIが要約・引用しやすい明快な文章で記述しておくことが、AI検索時代の「読まれる商品ページ」の条件になります。クローラー対策によるセキュリティ確保と、AI流入の獲得という、一見相反する二つを両立させる発想が求められます。なお、Cloudflareが進める課金の枠組みが日本のECサイトへどう適用されるかは現時点では未確定で、続報を要確認とします。
関連する論点として、AI検索からのオプトアウトをめぐる発行者側の動きはGoogle AI検索のオプトアウト規制で、AIエージェントが情報収集を代行する流れはGoogle AI Modeの情報エージェントで詳しく解説しています。あわせて確認すると、今回の「クロール課金」の位置づけがより立体的に見えてきます。
まとめ
ボットが人間のトラフィックを上回り、Webが「クロール課金」へ向かうというCloudflareの見立ては、無償クロールを前提としてきたWebの構造が転換期に入ったことを示しています。日本のEC事業者にとっては、AIクローラーをブロックするか歓迎するかの二択ではなく、robots.txtやllms.txtで制御しつつ、AI検索に拾われる商品情報を整えるという両立の設計が次の打ち手になります。
※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/
引用元: The Decoder
【監修】齋藤竹紘（株式会社オルセル代表 / 19年・5,000社のEC支援実績）
株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。
この記事を読んだ人は、こんな記事も読んでいます
