プライベート：ブラウザから出ません。登録不要。
robots.txt生成ツール
クローラールールとサイトマップリンクで有効なrobots.txtを作成。無料、登録不要。
このツールの機能
ルールブロックを1つずつ追加します。ユーザーエージェント（または全クローラー用の*）を選び、禁止・許可パスを列挙し、必要に応じてクロール遅延を設定、サイトマップURLを追加します。ツールが正しい形式のrobots.txtを組み立て、サイトルートにアップロードできます。
一般的なパターン
全エージェントに/admin/と/private/を禁止しつつ、クローラーをサイトマップに向けるのが多くのサイトの標準的な初期設定です。
プライバシー重視の設計
すべてはブラウザ内で実行されます。デバイスから出ることはありません。
あくまで目安です。表示の公表価格に基づいて計算しており、実際の請求額とは異なる場合があります。 利用規約
よくある質問
robots.txtとは？
サイトルート（example.com/robots.txt）に置くプレーンテキストファイルで、検索エンジンのクローラーに訪問可否のページを伝えます。
robots.txtでページは非公開になりますか？
いいえ。あくまで要請であり強制ではありません。行儀の良いクローラーは従いますが、意図的な訪問者は止められません。本当の非公開には認証を使ってください。
入力はサーバーに送信されますか？
いいえ。生成はすべてブラウザ内で行われます。