わかりやすいrobots.txtポリシーを書く

ユーザーエージェントごとのクロール規則を定義するが、インデックス削除は保証しない。隠すのではなく案内に使う。

ユーザーエージェントを列挙しAllow/Disallowを追加し、sitemap URLを入れる。主要パスでテスト。

CSS/JSなど重要アセットをブロックしない。規則は最小限にし、具体的なパスを優先。

• •sitemap URLを含める。
• •重要アセットをブロックしない。
• •実URLでテスト。