AIクローラーにはどんな種類がありますか?

ChatGPTのGPTBot、AnthropicのClaude系クローラー、PerplexityBotなどがあります。Vercelの2024年12月の調査では、主要AIクローラーの月間リクエストは合計約13億件で、Googlebotの28%に相当する規模に達していました。

なぜ静的サイトはAIに読まれやすいのですか?

主要なAIクローラーはJavaScriptファイルを取得しても実行しないためです。ページを開いた後にJavaScriptで本文を組み立てるサイトは、AIからは中身のないページに見えます。最初のHTMLに本文が全部入っている静的サイトなら、そのまま読んでもらえます。

AIクローラーのアクセスに課金できますか?

Cloudflareが2025年7月に発表した「Pay per Crawl」では、コンテンツ所有者がAIクローラーごとに「許可・課金・ブロック」を選べます。支払いが必要なことはHTTPの402ステータスコードで伝え、ドメイン単位で設定した料金をクローラー側が支払う仕組みです。

AIがサーバーを操作するとはどういうことですか?

MCPに対応したホスティングでは、AIエージェントが自然言語の指示から設定の読み取り、ログの分析、さらに変更の実装までできます。たとえばCloudflareは自社サービス用の公式MCPサーバーを16種類提供しており、2,500以上のAPIエンドポイントにAIから届く形になっています。

AIと相性のいいサーバーの条件:AIに読まれ、AIが操作できる

このブログはCloudflareのサーバーで動いていて、その選定の過程で気づいたことがあります。サーバーの比較というと、昔は速度・容量・料金の話でした。ところが調べているうちに、まったく別の軸が浮かび上がってきたのです。いまやサーバーの「訪問者」も「管理者」も、人間だけではなくなりつつある、という軸です。

AIと相性のよいサーバーの条件は、「AIが読める形で配信できること」と「AIが操作できる入口を持つこと」の2つです。

新しい訪問者:AIクローラーはもう無視できない量

まず「読まれる側」の話から。ホスティング企業Vercelが自社ネットワークなどを対象に行った2024年12月の調査によれば、直近1か月のクロール量は、ChatGPTのGPTBotが5億6,900万リクエスト、Anthropicのクローラーが3億7,000万リクエストで、主要AIクローラーの合計は約13億件。これはGooglebot(45億件)の約28%に相当する規模です※1。

検索エンジンのロボットだけを意識していればよかった時代が終わり、AIチャットやAI検索の裏側にいるクローラーたちが、サイトの新しい読者になりました。AI経由で人に届くかどうかは、まずこのロボットの読者にきちんと配信できるかで決まります。

その訪問者は、JavaScriptを実行しない

ここで重要な癖があります。同じVercelの調査は、OpenAI、Anthropic、Meta、ByteDance、Perplexityの主要AIクローラーについて「現時点でJavaScriptをレンダリングするものは1つもない」と報告しています。JavaScriptファイルを取得はするものの実行せず、クライアント側で組み立てるコンテンツは読み込めません※1(例外としてAppleBotとGeminiは実行できるとされています※1)。

つまり、ページを開いてからJavaScriptで本文を描画するタイプのサイトは、多くのAIから「白紙のページ」に見えます。最初のHTMLに本文がすべて入った静的サイトや、サーバー側でHTMLを組み立てて返す構成なら、そのまま読まれる。余談ですが、このブログを静的生成(Astro)にして、飾りのないHTMLを返す構成にしたのは、この調査を知る前でした。結果的に正解だったようで、胸をなでおろしています。AI向けにサイト概要をMarkdownで置く「llms.txt」の提案※2も、結局のところ「静的なテキストを1枚置く」だけの話で、静的配信と地続きです。

読まれすぎへの答え:AIクローラーに課金する「Pay per Crawl」

もっとも、AIに読まれることは手放しで喜べる話でもありません。クローラーはコンテンツを持っていきますが、検索エンジンと違って、訪問者を送り返してくれるとは限らないからです。この不均衡への答えとして、サーバー側から新しい仕組みが出てきました。

Cloudflareが2025年7月1日に発表した「Pay per Crawl」は、その名のとおりAIクローラーのアクセスに課金できる仕組みです。コンテンツ所有者はクローラーごとに「許可・課金・ブロック」の3択から対応を選べます※3。発表によれば、報道機関や大手プラットフォームとの何百もの対話の中で「AIのアクセスに見返りがほしい」という要望が一貫していたことが背景にあります※3。

技術的に面白いのは、HTTPに大昔から予約されていた「402 Payment Required(支払いが必要)」というステータスコードを、ここで本格的に使い始めたことです※3。料金はドメイン単位で設定し、クローラー側は402の応答を受けてから支払うか、事前に支払いを申告してアクセスします※3。サーバーが返す答えが「どうぞ(200)」「だめ(403)」の二択から、「お代をどうぞ(402)」を含む三択になった。AI時代のサーバーは、コンテンツの門番から料金所の役割まで担い始めています。

管理者もAIになる:MCPという勝手口

次に「操作される側」の話。サーバーの管理といえば人間が管理画面にログインする作業でしたが、ここにもAIが入り始めています。

Cloudflareは2025年4月、業界初とうたうリモートMCPサーバーを発表し、AIエージェントが指示を受けるだけでなく「メール送信、会議の予約、コード変更のデプロイまで、ユーザーに代わって実際にタスクを完了する」方向へ舵を切りました※4。現在は自社サービス用の公式MCPサーバーを16種類提供しており、2,500以上のAPIエンドポイントへのアクセス、ログ分析によるデバッグ、設定の読み取りから「変更の実装」までがAIクライアントから可能になっています※5。

MCPはAIと道具をつなぐ共通プラグですから、これはサーバーに「AI用の勝手口」を正式に設けたということです。人間は玄関(管理画面)から、AIは勝手口(MCP)から、同じ家を管理する。CMSで起きていた変化と、まったく同じ構図がインフラでも進んでいます。ひとつだけ釘を刺しておくと、「AIが変更まで実装できる」は「AIが事故も起こせる」と同じ意味です。勝手口の鍵をどこまで渡すかという問いは、ここでも残ります。

調べても分からなかったこと

AIクローラーの規模の最新値。今回引用したVercelの調査は2024年12月時点のもので※1、2026年時点の同等の公開実測にはたどり着けませんでした。この1年半でさらに増えている可能性が高いものの、数字では確認できていません。
Pay per Crawlの利用実績。仕組みの発表は確認できましたが※3、実際にどのくらいのサイトが課金を選び、クローラー側がいくら支払っているのかの数字は見つかりませんでした。

まとめ:サーバーの「客」と「管理者」が変わった

AIと相性のいいサーバーの条件を、2つの軸で整理します。

軸	問い	相性のよい条件
AIに読まれる	クローラーに本文が届くか。条件を付けられるか	初期HTMLに本文が入る静的配信※1。許可・課金・ブロックを選べる制御※3
AIが操作する	エージェントに入口があるか	API・CLI・MCPサーバーの提供※4※5

絵に描いた餅にならないよう、この方針で作った当ブログ自身の実測値も置いておきます(2026年8月、公開前の検証環境に対する筆者計測)。

項目	実測値
ビルド時間(記事21本+検索索引+全89ページ生成)	6.6秒
サイト全体の容量	3.16MB(148ファイル)
記事ページ1本のHTML	31.4KB
記事ページの応答時間(自宅回線から5回計測)	中央値86ms(初回のみ624ms、以降は80ms台)

静的な作り置きは、サイト丸ごとでも音楽ファイル1曲分の容量に収まり、配信は0.1秒を切る。「AIに読まれやすい構成」は、人間にとっても速い構成でした。

筆者がCloudflareを選んだのも、この2軸で見て素直だったからです。静的配信が得意で、クローラーの制御や課金の仕組みを持ち、運営側がMCP対応に積極的。ただし、この方向に進んでいるのはCloudflareだけではなく、調査元のVercelをはじめ主要各社もおおむね同じ道を歩いています。特定のサービスというより、「静的に配信でき、条件を付けられ、外から操作できる」という性質そのものが、AI時代のサーバーの共通解になりつつある、というのが調べた実感です。

サイトを訪れる3割前後がロボットの読者になり、その通行料の徴収が始まり、管理作業の一部をAIが担い始めた。サーバー選びは「人間にとって速いか」だけでなく「AIにとってどう開くか」で考える時代に入ったようです。そしてその答え方が、飾りのないHTMLと標準的な入口という「昔ながらの行儀のよさ」に回帰しているのは、なんだか面白い皮肉だと思います。

参考文献・出典

※1 : ｢The rise of the AI crawler｣｜Vercel https://vercel.com/blog/the-rise-of-the-ai-crawler

※2 : ｢The /llms.txt file｣｜llmstxt.org https://llmstxt.org/

※3 : ｢Introducing pay per crawl: Enabling content owners to charge AI crawlers for access｣｜The Cloudflare Blog https://blog.cloudflare.com/introducing-pay-per-crawl/

※4 : ｢Cloudflare Accelerates AI Agent Development With The Industry’s First Remote MCP Server｣｜Cloudflare https://www.cloudflare.com/press/press-releases/2025/cloudflare-accelerates-ai-agent-development-remote-mcp/

※5 : ｢Cloudflare’s own MCP servers｣｜Cloudflare Docs https://developers.cloudflare.com/agents/model-context-protocol/cloudflare/servers-for-cloudflare/