このツール、どんなときに使う？
robots.txtは、検索エンジンのクローラーへ「この場所は取りに来ないでください」と伝えるファイルです。ただし、アクセス制御や秘密ファイルの保護に使うものではありません。このツールはAllow / Disallow / Sitemapを組み合わせてrobots.txtを作ります。
無料Webツール
Allow・Disallow・Sitemapを指定してrobots.txtを生成します。
検索エンジンに、クロールしてほしくない場所を伝えたいときに使います。まず元データを残したまま試すと安心です。
重要なファイルを編集する場合は原本を残し、ダウンロード結果を確認してから置き換えてください。
robots.txtは、検索エンジンのクローラーへ「この場所は取りに来ないでください」と伝えるファイルです。ただし、アクセス制御や秘密ファイルの保護に使うものではありません。このツールはAllow / Disallow / Sitemapを組み合わせてrobots.txtを作ります。
ここは勘違いしやすいんですが、robots.txtでDisallowしたURLが「検索結果から絶対消える」とは限りません。外部リンクなどからURL自体が知られていると、内容をクロールせずURLだけ表示されることもあります。
テスト環境の特定ディレクトリだけクロールさせたくない場合、対象パスをDisallowへ入れ、公開領域まで巻き込んでいないか確認してから保存します。