クローラー

ウェブサイトを巡回して情報を収集する検索エンジンのプログラム。

技術重要度: 高

詳細説明

検索エンジンがインターネット上のウェブページを自動的に巡回し、情報を収集するプログラム。Googleの場合は「Googlebot」と呼ばれる。クローラーが収集した情報は、検索エンジンのインデックスに登録される。

関連するガイド・プレイブック・ケーススタディを自動でピックアップしています。

robots.txtは「クロール制御」。noindexやcanonicalと混ぜると事故る。やっていい/ダメな設定と、Search Consoleでのテスト手順を整理。

サイトマップは「発見の補助」。正規URLだけを載せ、内部リンクと正規化とセットで運用する。作り方とチェックリスト。

インデックス未登録を「ブロック/正規化/取得/品質/発見」に分解して最短で切り分ける。URL検査の見方と実務チェックリスト。

発見もクロールもしているのに登録されない。品質と重複の可能性が高い。

公開後にテンプレ設定が残りがち。「効いている場所」を特定して一括で直す。

URL検査でインデックス未登録。まず「ブロック/重複/品質/技術」のどれかを切り分ける。