使う前に知っておきたいこと
robots.txtは主にクロール許可を制御する仕組みで、URLのインデックス削除を保証するものではありません。noindexを使いたいページをrobots.txtでブロックすると、検索エンジンがnoindex自体を読めない場合があります。
無料Webツール
貼り付けたrobots.txtの主要ディレクティブと基本構文を確認します。
robots.txt構文チェックでは、入力を選択・設定してブラウザ内で処理し、結果を確認または保存できます。
重要なファイルを編集する場合は原本を残し、ダウンロード結果を確認してから置き換えてください。
robots.txtは主にクロール許可を制御する仕組みで、URLのインデックス削除を保証するものではありません。noindexを使いたいページをrobots.txtでブロックすると、検索エンジンがnoindex自体を読めない場合があります。
管理用ページを検索結果から外したい場合、robotsだけに頼らずnoindexや認証など目的に合う方法を選びます。