搜索爬虫（OAI-SearchBot、Claude-SearchBot、PerplexityBot），它们是来建索引的，决定你的内容能不能出现在AI搜索结果里。这类必须放行，封了=自断AI流量。
训练爬虫（GPTBot、ClaudeBot、CCBot），它们是来"学习"的，内容进训练集，未来模型可能"认识"你的品牌。带宽紧张的可以封，但代价是模型不知道你。
浏览代理（ChatGPT-User、Claude-User），用户跟AI对话时实时抓取你的页面。这类最特殊——
打开你的域名/robots.txt，搜索GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended，看到Disallow: / 就是问题 搜索User-agent: * 后面有没有太宽的Disallow规则误杀了AI爬虫（命名section会覆盖通配符section，每个AI爬虫要单独写Allow） 确认Google-Extended是Allow——这直接影响AI Overviews可见性 去Bing Webmaster Tools提交Sitemap（今天就能做，5分钟搞定） 如果用Cloudflare，检查Bot Management有没有把AI爬虫标记为恶意bot Nginx用户检查：location ~ /\规则是否误杀了/.well-known/ai.txt路径 如果你的站用的WordPress，注意"建议搜索引擎不索引本站"那个勾——上线后忘了取消的，比你想的多得多。 还有一个坑：JS渲染。React/Vue/Next.js搭建的外贸站，AI爬虫可能看到空白div。去Google Search Console的URL Inspection看一眼渲染结果，确认爬虫能读到你的内容。
优网科技，优秀企业首选的互联网供应服务商
优网科技秉承"专业团队、品质服务" 的经营理念，诚信务实的服务了近万家客户，成为众多世界500强、集团和上市公司的长期合作伙伴！
优网科技成立于2001年，擅长网站建设、网站与各类业务系统深度整合，致力于提供完善的企业互联网解决方案。优网科技提供PC端网站建设（品牌展示型、官方门户型、营销商务型、电子商务型、信息门户型、微信小程序定制开发、移动端应用（手机站、APP开发）、微信定制开发（微信官网、微信商城、企业微信）等一系列互联网应用服务。
公安局备案号：
专属顾问
