robots.txt 检测
读取并展示网站的 robots.txt，确认爬虫抓取规则配置。
WebURL robots.txt 检测是一款免费在线工具，无需注册即可读取并解析任意网站的 robots.txt，用于确认爬虫抓取规则是否误封了重要页面或 AI 爬虫。
工具介绍与使用方法
Robots.txt 检测读取目标网站的 robots.txt 并解析出每条规则：哪些路径允许抓取、哪些被禁止、sitemap 索引位置，以及针对特定爬虫（如 GPTBot、Googlebot）的专门规则。
对自己网站：上线前确认没有误屏蔽重要目录；对竞品研究：了解对手对 AI 爬虫的开放程度。
误封 Disallow: / 是新站最常见的翻车原因之一——上线检查清单里一定要有这一项。