2025年、Webトラフィックの過半数がついにAIボットによって占められた。Impervaの年次レポートによると、ボットトラフィックは全体の51%に達し、10年ぶりに人間のトラフィックを逆転した。この転換点を象徴するのがRAG（検索拡張生成）クローラーの急増であり、OpenAIのGPTBotは前年比305%増、ユーザー駆動型AIボットは15倍に膨張した。一方でパブリッシャーのCTRは最大61%暴落し、コンテンツ経済の構造そのものが書き換えられつつある。

ボットが人間を逆転した ── Imperva 2025レポートの衝撃

2025年4月に公開されたImperva（Thales Group傘下）の「2025 Bad Bot Report」は、Webの歴史的転換を数字で示した。全インターネットトラフィックに占めるボットの割合が51%に達し、2014年以来初めて人間を上回ったのである。悪性ボットだけでも37%を占め、前年の32%から急伸している。

とりわけ深刻なのは「高度なボット」の進化である。APIを標的とする高度なボットトラフィックは全体の44%に達し、従来のアプリケーション層攻撃（10%）を大きく上回った。旅行業界ではボットが全トラフィックの48%を占め、人間（47%）を凌駕する異常事態が発生している。金融サービスではアカウント乗っ取り（ATO）攻撃が前年比40%増加し、全ATO攻撃の22%がこのセクターに集中した。

この変化の主因はAI技術の民主化にある。生成AIツールの普及により、高度なボットの作成コストが劇的に低下した。Impervaのデータでは、AIを利用した攻撃のうちByteSider Botが54%、AppleBotが26%、ClaudeBotが13%、ChatGPT User Botが6%を占めている。ボットはもはやスクリプトキディの道具ではなく、AI時代のインフラそのものとなった。

RAGクローラーの爆発的増殖 ── GPTBot 305%増の実態

Cloudflareが2025年に公開した分析レポートは、AIクローラーの勢力図を詳細に描き出した。2024年5月から2025年5月にかけて、クローラートラフィック全体は18%増加したが、ユーザー駆動型AIボット（RAGクローラー）は15倍という爆発的な伸びを見せている。

個別のクローラーでは、OpenAIのGPTBotが最も劇的な成長を遂げた。リクエスト数は前年比305%増加し、クローラー市場のランキングでは9位から3位に急浮上。シェアは5%から30%へと6倍に拡大した。さらにChatGPT-Userのリクエストは2,825%増という異常値を記録している。PerplexityBotも157,490%増（ただしシェアは0.2%）と、小規模ながら天文学的な成長率を示した。

一方で明暗が分かれたプレイヤーもいる。AnthropicのClaudeBotはリクエスト数が46%減少し、シェアは11.7%から5.4%に後退した（その後2025年7月までに約10%まで回復）。ByteSpiderはリクエスト数が85%急落した。Googlebotは依然として圧倒的で、全クローリングトラフィックの30%から50%に拡大している。

この急増の背景にあるのは、ChatGPT SearchやPerplexity、Google AI OverviewsなどのRAGベースのAI検索サービスの普及である。これらのサービスはユーザーの検索クエリに応じてリアルタイムにWebをクロールし、回答を生成する。従来の検索エンジンインデックスとは異なり、RAGクローラーは「取得して答える」ためにコンテンツを消費するが、トラフィックを元サイトに還元する率は極めて低い。

robots.txt無視率42% ── OpenAIの「暗黙の方針転換」

RAGクローラーの増殖に伴い、robots.txtの遵守率が深刻な問題として浮上している。Cloudflareのデータによると、AIボットによるrobots.txt違反率は2024年Q4の3.3%から2025年Q2には13.26%に急上昇した。英国の365i社が47サイトを対象に実施した調査では、72%のビジネスサイトでrobots.txt違反が確認されている。

中でも問題視されているのがOpenAIのChatGPT-Userである。robots.txt非遵守率は42%と、主要AIクローラーの中で最も高い。さらにOpenAIは2025年12月9日、ChatGPT-Userのドキュメントからrobots.txt遵守に関する記述を削除した。従来は3つのユーザーエージェント（GPTBot、OAI-SearchBot、ChatGPT-User）すべてがrobots.txtに従うと記載していたが、変更後はGPTBotとOAI-SearchBotのみに限定。ChatGPT-Userは「ユーザーが直接リクエストした行為であり、自律的なスクレイピングとは異なる」という論理で除外された。

この動きに対して、パブリッシャー側の対抗も加速している。GPTBotをdisallowリストに追加したWebサイトは560万に達し、2025年7月初頭の330万から70%増加した。ニュースパブリッシャーの54.2%が少なくとも1つのAIクローラーをオプトアウトしている。しかしrobots.txtは紳士協定にすぎず、法的拘束力はない。技術的に無視可能であるという根本的な脆弱性が、この問題を構造的に解決困難なものにしている。

パブリッシャー経済の崩壊 ── CTR 61%暴落と「ゼロクリック検索」の常態化

AIボットの増殖とAI検索の普及は、パブリッシャー経済に壊滅的な打撃を与えている。AI Overviewsが表示される検索クエリでは、オーガニックCTRが61%低下した。具体的には2024年6月の1.76%から2025年9月には0.61%へと3分の1以下に縮小している。AI Overview内のリンクがクリックされる確率はわずか1%にすぎない。

「ゼロクリック検索」──検索結果ページで完結し、外部サイトへのクリックが発生しない検索──は全体の69%に達した。2024年5月の56%から急増している。ニュースサイトへのオーガニックトラフィックは月間23億PVから17億PV未満に落ち込み、1年足らずで6億PV以上が消失した。

個別のパブリッシャーへの影響はさらに深刻である。Business Insiderはオーガニック検索トラフィックが55%減少し（2022年4月〜2025年4月）、2025年5月に21%の人員削減を実施した。音楽メディアのStereogumは広告収入の70%を失った。グローバル上位500パブリッシャーのGoogle経由トラフィックは平均27%減少している。業界調査では、今後3年間で検索トラフィックが43%減少するとの予測もあり、回答者の20%は75%超の減少を見込んでいる。

最も不均衡なのが「クロール対リファラル比率」である。Cloudflareのデータによると、Googleは1リファラルあたり14回のクロールで済むが、OpenAIは1,217回、Perplexityは194.8回、Anthropicは38,065.7回のクロールを行っている。AIクローラーはコンテンツを大量に取得する一方で、元サイトへのトラフィック還元はほぼ皆無という構造的な非対称性が存在する。

TollBit・Cloudflare ── 「AIトラフィック課金モデル」の台頭

パブリッシャー経済の構造転換に対応するため、新たなビジネスモデルが台頭している。その筆頭がTollBitである。TollBitは無許可のスクレイピングを認証済みのライセンスアクセスに変換するプラットフォームで、CDNエッジにおいてAIトラフィックを認証し、HTTP 402（Payment Required）コードを返すことでAIボット運営者にTollBitトークンの取得を要求する。

2025年時点で3,000以上のパブリッシャーがTollBitを導入し、四半期あたり15億以上のボットスクレイピングを監視している。TollBitのデータでは、50回のサイト訪問に1回がボットによるもので、これはQ1比400%の増加である。2025年12月にはImpervaとの提携を発表し、Imperva Cloud WAFの顧客がAIボットトラフィックを自動的にTollBitにリダイレクトできるようになった。

Cloudflareも「AI Audit」機能を強化している。管理されたrobots.txtコントロール機能により、パブリッシャーはどのクローラーがrobots.txtを遵守し、どのクローラーが違反しているかをダッシュボードで可視化できる。「Robotcop」と呼ばれるエッジでのポリシー強制機能も提供され、技術的な防衛手段が整備されつつある。

コンテンツライセンス契約も拡大している。最大規模はNews CorpとOpenAIの5年間2億5,000万ドル超（年間5,000万ドル超保証）の契約である。AP通信はGoogle Geminiとのライセンス契約を締結し、The Atlantic、Vox Media、Axel Springer、Financial Times、Le Monde、Axiosなども相次いでAI企業との契約に踏み切った。ただし業界全体のライセンス市場規模は年間推定8億1,600万ドルで、パブリッシャーの収益損失に対しては焼け石に水との指摘もある。

今後の焦点は、robots.txtに代わる技術的・法的フレームワークの確立である。自発的なプロトコルでは対応しきれない現状に対し、EU AI規制のようなハードローによるクロール行為の規制、あるいはHTTP 402をベースとしたマイクロペイメントの標準化など、Web経済の根本的な再設計が求められている。「ポスト人間トラフィック」時代のWeb経済は、コンテンツの「消費」と「対価」の関係を根本から問い直す局面に入った。

FAQ

AIボットトラフィックが人間を超えたとはどういう意味か？

Impervaの2025年レポートによると、Webトラフィック全体の51%がボット（自動プログラム）によるアクセスとなり、人間のブラウジングを初めて上回った。AIクローラー、スクレイパー、攻撃ボットなどが含まれる。

RAGクローラーとは何か？

RAG（Retrieval-Augmented Generation）クローラーは、ChatGPT SearchやPerplexityなどのAI検索サービスがユーザーの質問に回答するためにリアルタイムでWebページを取得するボットである。従来のインデックス型クローラーと異なり、回答生成のたびにコンテンツを消費する。

robots.txtを設定すればAIクローラーをブロックできるか？

robots.txtは技術仕様上「紳士協定」であり法的拘束力はない。OpenAIのChatGPT-Userは42%がrobots.txtを無視しており、完全な防御策にはならない。TollBitやCloudflare AI Auditなどの技術的ソリューションの併用が推奨される。

パブリッシャーはAIクローラーからどう収益を得られるか？

TollBitのようなAIトラフィック課金プラットフォームの導入、OpenAIやGoogleとのコンテンツライセンス契約の締結、Cloudflare AI Auditによるアクセス制御の3つが主要な対応策である。ただしライセンス契約は大手パブリッシャーに限られる傾向がある。

AI検索はSEOにどのような影響を与えるか？

AI Overviewsが表示されるクエリではオーガニックCTRが61%低下し、ゼロクリック検索が69%に達している。従来のSEO戦略だけでは不十分であり、AI検索結果への最適化（LLMO）やダイレクトトラフィックの強化が新たな課題となっている。

参考文献