ToolsDashboard
SEO 设置
编写清晰的 robots.txt 规则
控制爬虫访问，同时保持关键页面可被搜索引擎发现。
robots.txt 控制什么
robots.txt 按 user-agent 定义抓取规则，但不能保证去索引。用于引导爬虫，而非隐藏内容。
操作步骤
列出 user-agent，添加 Allow/Disallow 规则，再加入 sitemap URL。用关键路径测试规则。
避免常见错误
不要屏蔽 CSS/JS 等重要资源。规则尽量精简，并优先使用具体路径。
检查清单
- •包含 sitemap URL。
- •避免屏蔽关键资源。
- •用真实 URL 测试。