クローラビリティとは|『検索エンジンの到達可能性』の本質と改善4観点

『クローラビリティ』って言葉、SEOの記事で見かけるけど、ちゃんと説明できますか?

株式会社Cameen 西村温裕ことおんゆーです。

で、SEOの記事を開くと、クローラビリティ、インデックス、サイトマップ、robots.txt、こういう用語が次々と並んでいるんですよね。いやちょっと待ってください。そもそもクローラビリティって何ですか?と。

なんとなくのイメージはあると思います。検索エンジンがサイトを読み込みやすい状態、でしょう?と。でも「具体的にどういう状態が良くて、何を改善すればいいのか」と聞かれると、意外と詰まる。これ、自分だけだと思ってませんか?

うちで運営しているメディアサイトは複数あって、サイト構造の設計とクローラビリティ改善には本気で取り組んできました。Google Search Consoleのクロール統計とにらめっこする日々を3年以上続けて、わかってきたことが結構あります。話を深掘りしていくと、クローラビリティが悪いサイトには共通パターンがあって、改善の打ち手も意外と限られているんです。

多くのWeb担当者が誤解しているのは、クローラビリティを「サイトへのアクセス可能性」だと思っていること。これ、半分しか当たってないんですよね。本当の論点は、検索エンジンクローラーがサイト内のすべてのページに、効率良くたどり着けるかどうか。これが本質なんです。

今回はその今さら聞けないクローラビリティを、表面的な解説ではなく、構造の核心と改善4観点まで一気に深掘りしていきます。読み終わる頃には、自分のサイトのクローラビリティを診断する視点と、優先度の高い改善打ち手が、紙に書き出せるはずです。

結論:クローラビリティの核心は「アクセス可能性」ではなく「効率良い回遊状態」

クローラビリティの本当の正体は、「検索エンジンクローラーがサイト全体を効率良く回遊して、必要なページにすべて到達できる状態」のことなんです。アクセスできるかどうかではなく、効率良く全ページに到達できるか、ここが核心です。

業界の体感として、サイトの規模が大きくなるほどクローラビリティの差が顕著に出てきます。100ページ規模なら何も気にしなくても全ページがクロールされますよね。でも10,000ページを超えてくると、半分も巡回されないサイトと、9割以上巡回されるサイトに分かれてくるんです。

で、ここで重要なのが「クロールバジェット」という考え方なんですよね。検索エンジンは1つのサイトに無制限にリソースを割けるわけじゃない。サイトごとに割り当てられるクロール量には上限があって、これがクロールバジェットなんです。クローラビリティが悪いサイトは、このバジェットを無駄遣いしてしまう構造になっています。

クローラビリティの真の価値は、「インデックスされるべきページが、確実にインデックスされる」という状態を作れること。検索結果に表示されたいページがクロールされず、不要なページにバジェットが食われている、そういう状態を防ぐのがクローラビリティ改善の本質なんです。これ、SEOで一番見落とされている観点じゃないですか。

なぜ「クローラビリティ」という概念が生まれたのか

もう少し深く掘ります。なぜ「クローラビリティ(Crawlability)」という概念が生まれて、SEO業界で重視されるようになったのか。背景を整理します。

「クローラビリティ(Crawlability)」は英語の「crawl(這う・巡回する)」+「ability(可能性)」の合成語で、直訳すると「巡回可能性」。検索エンジンのクローラー(Googlebot等)がサイトを巡回できる度合いを指す言葉として使われるようになりました。

この概念の起源は、1998年のGoogle PageRankアルゴリズム以降なんですよね。それまでは「ページが存在すれば検索される」というのが業界の前提だったんです。でも、PageRankが導入されたことで、リンク構造によってクローラーが回遊するという仕組みが明確になりました。

2000年代に入ると、ウェブサイトの規模が爆発的に増えて、検索エンジン側がすべてのページを巡回できなくなる事態が発生しました。ここで初めて「クロールバジェット」という概念が出てきて、効率的な巡回を支援する技術が業界の課題になったんです。

2005年にXML Sitemapが標準化、2006年にGoogle Search Console(当時はWebmaster Tools)がローンチされ、クローラビリティを可視化・管理する仕組みが整備されてきました。これらは全部、サイト運営者がクローラビリティを改善するためのインフラなんです。

うちで運営しているメディアでも、過去にクローラビリティが破綻したことが何度かあります。サイトの規模が3,000ページを超えたあたりから、新規記事のインデックスが極端に遅くなる事象が発生しました。で、調査してみたら、内部リンク構造が破綻していて、孤立ページが800ページ以上発生していたんです。

業界の進化として、2018年以降はモバイルファーストインデックス(MFI)が標準化され、クローラビリティの観点もモバイル前提に変わってきました。スマホでアクセスできない要素は、もはやインデックスされないという状態になっています。これ、見落としている人がまだまだ多いんですよね。

近年は、AI検索(ChatGPT検索、Perplexity、Gemini)の登場でクローラビリティの重要性がさらに増しています。AI検索エンジンも独自のクローラーを持っていて、サイトを巡回します。クローラビリティが低いサイトは、Google検索だけでなくAI検索からも除外されるリスクがあるんです。

クローラビリティ改善の現場で何が起きているか

クローラビリティを改善する現場では、具体的に何が行われているのか。5段階で整理します。

ステージ1:クロール統計の確認

まず最初にやるのが、Google Search Consoleの「クロール統計情報」を確認することなんです。1日あたりのクロール回数、平均応答時間、ダウンロードされたバイト数、これらの推移を見ます。直近3ヶ月の傾向を確認するのが標準です。

あわせてチェックするのが、URL検査ツールで主要ページのクロール状況を見ること。「最終クロール日」「カバレッジステータス」「インデックス登録」、この3つを主要50ページで確認します。ここで全体像の俯瞰ができます。

ステージ2:ボトルネックの特定

次に、クローラビリティを阻害しているボトルネックを特定します。具体的には、(1)サーバー応答速度、(2)内部リンク構造、(3)robots.txtとsitemap.xmlの整合性、(4)JavaScriptレンダリング依存度、この4観点で原因を切り分けます。

うちで使うのが、Screaming Frog SEO Spiderというツールです。これでサイト全体をクロールして、リンク切れ・リダイレクトチェーン・深い階層・孤立ページ、すべて洗い出します。1万ページ規模なら30分程度でレポートが出ます。

ステージ3:改善の実装

特定したボトルネックに対して、改善実装に入ります。よくあるのが、(1)サイトマップ最適化、(2)内部リンク強化、(3)robots.txtの修正、(4)サーバー応答速度の改善、これらの組み合わせ。優先度は影響範囲とコストで決めます。

うちのケースだと、サーバー応答速度の改善が一番効きました。応答時間が1秒を超えるとクローラーがリソースを節約し始めるんですよ。CDN導入と画像最適化で平均応答時間を500ms以下に抑えたら、クロール頻度が約2.3倍になりました。

ステージ4:検証

改善実装後の検証フェーズです。Search Consoleで「クロール統計情報」の変化を1〜2週間観察します。クロール回数の増加、応答時間の短縮、エラー率の低下、こういう指標が改善方向に動いているかを確認します。

あわせて、URL検査ツールで改善対象ページの「最終クロール日」を確認。改善前と比較して、クロール頻度がどう変化したかを定量化します。「クロールされていなかったページがクロールされるようになった」、この変化が確認できれば成功です。

ステージ5:継続監視

クローラビリティは1回改善すれば終わりじゃないんです。新規コンテンツの追加、サイト構造の変更、サーバー環境の変化、こういう要因で状況は常に変動します。毎月1回はクロール統計をレビューする運用が必須です。

うちでは月次でクローラビリティレポートを作成しています。クロール回数推移、平均応答時間、孤立ページ数、内部リンク密度、こういう指標を継続記録。前月比で異常な変化があれば即座に調査します。サイトを健全な状態で保つには、この継続監視が欠かせません。

身近な話で全体像をつかむ

ちょっと身近な話で、全体像を掴み直しましょう。

大型ショッピングモールに置き換えてみます。あなたが10階建ての大型ショッピングモールを運営している、と仮定します。200店舗が入っていて、毎日数万人の客が訪れる施設です。

客がモールに入った時、最初に手に取るのがフロア案内図ですよね。これが分かりやすければ、客は目当ての店舗にたどり着けます。逆に案内図が複雑だったり、表示が古かったり、ある階だけ案内されていなかったら、客はそこに到達できません。

これ、まんまクローラビリティなんです。サイトのフロア案内図がサイトマップ。客が検索エンジンクローラー。店舗がサイトの個別ページ。案内図が分かりやすければクローラーが全店舗(全ページ)に効率良くアクセスできて、案内図が複雑だと一部の店舗が見落とされる、こういう構造です。

さらにモールの作りで重要なのが、エスカレーターやエレベーターの配置。1階から10階まで一気に上がれる導線があれば、客は全フロアを巡回しやすい。逆に各階で別のエスカレーターに乗り換える必要があったら、奥のフロアまでたどり着く客が激減します。これが内部リンク構造の話ですね。

うちでクローラビリティ改善した経験で言うと、内部リンクが貧弱だったサイトでも、トップから3クリック以内で全ページに到達できる構造に変えたら、クロール率が劇的に改善しました。客(クローラー)に複雑な道筋を歩かせない、シンプルで分かりやすい導線を作るのが核心です。

もう一つの観点が、店舗(ページ)の入り口のドアの開きやすさ。ドアが重かったり、鍵がかかっていたり、貼り紙で「準備中」と書いてあったら、客は入店を諦めますよね。これがサーバー応答速度、404エラー、robots.txtでのブロックの話です。ドアを軽く開けやすくしておく、これが基本中の基本です。

クローラビリティ改善の4観点