🕷️ 免费 · 免注册 · 不装 App · 只读
ChatGPT、Perplexity 到底读不读得到你的店?
几乎没人会主动去改 robots.txt —— 但改主题、装 SEO 应用、或者上线前的临时规则没删干净,都可能悄悄把 AI 导购用的那批爬虫挡在门外。我们读你的 robots.txt 和服务器返回的 HTML,一个 UA 一个 UA 地告诉你:谁进得来,谁进不来。
仅基于公开可获取的数据。仅供参考,不构成法律意见。
这个工具检查什么
- 14 个点名的 AI / 搜索爬虫,逐个判定首页和商品页能不能抓
- 整站 Disallow: / —— 一行就能把整个店对所有人藏起来
- 默认的 User-agent: * 分组有没有把 /products/ 封掉
- 有没有 /llms.txt,以及它是不是真的文本文件(不是被 404 页面顶包)
- robots.txt 里有没有声明 sitemap,声明的那个地址是不是真打得开
- 商品链接和价格是在服务器返回的 HTML 里,还是要等 JavaScript 跑完才出现
- 页面 meta 或 X-Robots-Tag 响应头里有没有 noindex
FAQ
爬虫没被封,是不是就等于 ChatGPT 会推荐我的商品?
不是。能被抓只是入场券,不是结果。这个工具只能告诉你有没有因为技术配置把自己直接淘汰掉,至于模型怎么排序、会不会引用你,它答不了。
为什么有些项显示「无法判定」?
我们像普通爬虫那样取页面,不执行 JavaScript。如果 robots.txt 打不开、或者店面把我们的请求挡了,相关项一律标成「无法判定」并写清原因,不去猜一个「通过」。另外 robots.txt 本身是君子协定:它写的是「请合规爬虫这么做」,不等于每个 bot 都照做。
封掉 AI 爬虫一定是错的吗?
不一定,我们也没按「一律错」来打分。像 Google-Extended 这种纯训练用的退出开关,封掉是合理选择,只是有明确代价。真正几乎没人是故意的,是把「顾客刚问起你、模型现场去取页面」的那几个 UA 封掉 —— 这一类我们会重判。