robots.txt

クローラーに対してサイトの巡回ルールを指定するファイル。

技術重要度: 中

詳細説明

ウェブサイトのルートディレクトリに配置される、検索エンジンのクローラーに対して巡回のルールを指定するテキストファイル。特定のディレクトリやファイルへのアクセスを制限したり、サイトマップの場所を指定したりできる。

関連するガイド・プレイブック・ケーススタディを自動でピックアップしています。

robots.txtは「クロール制御」。noindexやcanonicalと混ぜると事故る。やっていい/ダメな設定と、Search Consoleでのテスト手順を整理。

公開後にテンプレ設定が残りがち。「効いている場所」を特定して一括で直す。

サイトマップは「発見の補助」。正規URLだけを載せ、内部リンクと正規化とセットで運用する。作り方とチェックリスト。

サイトマップは「発見の補助」。内部リンク、正規化、品質が整っていないと効果が薄い。