你的 robots.txt 是不是把 AI 挡在门外了？
很多网站为了防采集写了一条通配禁止，顺手把 AI 抓取器也挡了——然后奇怪为什么 ChatGPT 从来不提自己。填个网址，10 秒看清楚，并拿到能直接粘贴的修复片段。
这些是主要的 AI 抓取器
| User-agent | 属于谁 | 挡住会怎样 |
|---|
GPTBot | OpenAI，用于训练与检索 | ChatGPT 更难拿到你的内容 |
OAI-SearchBot | OpenAI 搜索索引 | ChatGPT 搜索里不出现 |
ChatGPT-User | 用户在对话里点开链接时 | 用户主动访问你的页面也会失败 |
ClaudeBot | Anthropic | Claude 拿不到你的内容 |
PerplexityBot | Perplexity | Perplexity 不会引用你 |
Google-Extended | Google 的 AI 用途开关 | Gemini 与 AI 概览里更难出现 |
Bytespider | 字节（豆包） | 豆包拿不到你的内容 |
Baiduspider | 百度 | 文心/百度 AI 搜索受影响 |
常见问题
改了 robots.txt 多久生效？
抓取器下次来读的时候就生效，通常几小时到几天。它不会让你立刻出现在 AI 回答里——那还需要内容本身够格被引用。
我没有 robots.txt，要紧吗？
不要紧。没有这个文件等于默认全部放行，对 AI 抓取来说反而是好事。
放行了 AI 会不会白嫖我的内容？
这是个合理的顾虑。取舍是：不放行几乎等于退出 AI 推荐的候选池。建议的做法是放行公开的营销内容，把付费/独家内容单独 Disallow。
为什么 ChatGPT-User 也要放行？
那是用户在对话里点开你的链接时发起的请求。挡住它，等于用户主动想看你的页面都看不了。
这个工具会改我的网站吗？
不会。它只读取 robots.txt 这一个公开文件，给你一段可以自己粘贴的修复片段。
放行之后，想知道 AI 到底有没有来抓？
这个工具给的是一次快照。免费账号可以保存历史、定期复查、看变化趋势，还能把询盘接进来自动应答。永久免费版不需要信用卡。
免费注册，保存这次结果 →
其它免费工具