Pilotiko feature : 已上线
出现在ChatGPT、Claude和Perplexity中:中小企业能掌控什么
AI怎么回答不由您决定。您能决定的,是它能读到什么,以及它读到的内容质量如何。
想有机会被ChatGPT、Claude或Perplexity引用,请在robots.txt中放行它们的搜索爬虫(OAI-SearchBot、Claude-SearchBot、PerplexityBot),并发布清楚回答客户问题、可以核实的页面。屏蔽训练爬虫并不妨碍出现在它们的搜索中。没有任何设置能保证被引用。
要点
- 每家AI公司都把爬虫分开:搜索、训练,以及应用户要求的访问。
- 屏蔽OAI-SearchBot会让您的网站从ChatGPT的搜索回答中消失;屏蔽GPTBot则不会。
- Google-Extended不会改变您在Google搜索中的位置。
- 被引用的内容精确、有日期、有来源,而且便于提取。
哪些AI爬虫会访问中小企业的网站?
三类:为助手中的搜索提供内容的爬虫、为训练模型收集内容的爬虫,以及由用户某个具体问题触发的访问。
OpenAI记录了三种代理:OAI-SearchBot让网站出现在ChatGPT的搜索功能中,GPTBot收集可能用于训练模型的内容,ChatGPT-User在用户要求时访问某个页面。OpenAI说明,这些设置彼此独立 [1]。
Anthropic遵循同样的逻辑,有ClaudeBot(训练)、Claude-User(应Claude用户要求的访问)和Claude-SearchBot(为搜索建立索引)[2]。Perplexity区分PerplexityBot(让网站出现在其结果中并附上链接)和Perplexity-User(应用户要求获取页面)[3]。
在Google方面,AI概览没有单独的爬虫:用的就是Googlebot。Google-Extended令牌只用来表明您的内容能否用于训练Gemini,或在搜索之外为其回答提供依据;Google指出,它对Google搜索中的收录和排名没有任何影响 [4]。
| 爬虫 | 公司 | 作用 | 如果屏蔽它 |
|---|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT中的搜索 | 您的页面不再显示在搜索回答中(仍可能保留导航链接)[1] |
| GPTBot | OpenAI | 模型训练 | 对ChatGPT搜索没有影响 [1] |
| ChatGPT-User | OpenAI | 应用户要求的访问 | 不用于决定是否收录于搜索 [1] |
| Claude-SearchBot | Anthropic | 为搜索建立索引 | 在回答中的可见度可能降低 [2] |
| Claude-User | Anthropic | 应用户要求的访问 | 可见度可能降低 [2] |
| ClaudeBot | Anthropic | 训练 | 您今后的内容将被排除在训练之外 [2] |
| PerplexityBot | Perplexity | Perplexity的结果 | 被链接的机会变小;不用于训练模型 [3] |
| Perplexity-User | Perplexity | 应用户要求的访问 | 通常忽略robots.txt [3] |
| Google-Extended | Gemini的训练与依据 | 对Google搜索没有影响 [4] |
想被引用又不想为训练提供内容,robots.txt该怎么写?
放行搜索爬虫,如果愿意,再拒绝训练爬虫。这是商业决策,不是技术义务。
不少中小企业读过一篇关于AI的文章后“出于谨慎”把一切都屏蔽了。结果是网站从ChatGPT的回答中消失,而本意只是不想被用于训练。在改动任何内容之前,请先到votresite.com/robots.txt读一读您现有的文件。
Anthropic提醒,规则必须设在每一个相关的子域名上 [2]。如果您的预约系统在某个子域名上,它有自己的文件。
AI搜索引擎更愿意引用什么样的内容?
可以核实、便于提取的内容:开头给出清晰的答案,有日期和来源的数字,明确的作者或企业,以及您企业独有的事实。
Google建议提供“不平庸”的内容:超越人人皆知之外的亲身经验和专业见解。它还指出,不必把内容切成小块,也不必为AI重写 [5]。对AI引擎有帮助的,对人类读者同样有帮助。
对服务型中小企业来说,这意味着:您的服务区域、真实的工期、(如果公开的话)起步价格、您的执照(例如RBQ),以及客户在电话里问您的那些问题的答案。一个只有三行泛泛介绍的“我们的服务”页面,无法给正在寻找精确答案的AI提供任何东西。
- 每个重要标题下给出40到60个字词的回答。
- 标题采用客户提问的说法;请看如何撰写有用的FAQ。
- 关于企业的准确结构化数据:结构化数据指南。
- 保持更新的Google商家资料,Google在回答中也会引用它:完善您的Google商家资料。
- 只有包含真实信息才做城市页面:魁北克的本地SEO。
如何知道AI是否已经引用了您的企业?
每月向ChatGPT、Claude和Perplexity提出一次客户常问您的十个问题,并记录谁被引用。完整的方法及跟踪表格见衡量您在AI中的可见度。AI存在度工具可以帮您整理这组问题。
如需总览(技术SEO、直接回答、Google资料和衡量),请阅读支柱指南在Google上被找到并被AI引用。
Pilotiko为AI中的可见度做了什么?
当Pilotiko建设并托管您的网站(网站)时,它会生成robots.txt、站点地图、结构化数据和llms.txt文件,还可以审计您当前的网站(SEO、AEO和GEO)。robots.txt规则仍由您决定:发布之前,我们会向您展示每一行的效果。
常见问题
如果我屏蔽GPTBot,会从ChatGPT中消失吗?
不会。OpenAI指出,屏蔽GPTBot只表示您的内容不应用于训练。决定能否出现在ChatGPT搜索回答中的是OAI-SearchBot。
屏蔽Google-Extended会损害我在Google的排名吗?
不会。Google明确写道,Google-Extended对网站是否被收录进Google搜索没有影响,也不是排名信号。它涉及的是Gemini的训练和依据。
可以付费让ChatGPT或Perplexity引用我吗?
所查阅的文档中,没有一份描述过付费被引用的方法。对承诺“保证引用”的服务要提高警惕:连Google都提醒,没有任何第三方工具能够接触它的内部系统。
我的网站是新的:要多久才会被引用?
没有人公布过时间。首先,您的页面要被每个引擎抓取并索引,然后还要被判定与某个问题相关。请在Search Console和Bing Webmaster Tools中检查索引情况。
Perplexity遵守robots.txt吗?
根据Perplexity的文档,PerplexityBot遵循robots.txt。Perplexity-User是应用户要求获取页面,通常会忽略它,因为访问是由真人触发的。
需要为AI改变写法吗?
Google说不需要:针对生成式搜索,没有需要采用的特殊风格。请写出清晰、精确、属于您企业自己的回答;这既服务了您的客户,也服务了搜索引擎。
资料来源
- OpenAI, Overview of OpenAI Crawlers (查阅于 2026年10月15日).
- Anthropic, centre d'aide Claude, Does Anthropic crawl data from the web, and how can site owners block the crawler? (查阅于 2026年10月15日).
- Perplexity, Perplexity Crawlers (查阅于 2026年10月15日).
- Google, Robots d'exploration courants de Google (dont Google-Extended) (查阅于 2026年10月15日).
- Google Search Central, Guide d'optimisation pour la recherche générative par IA (查阅于 2026年10月15日).
- llmstxt.org, The /llms.txt file (proposition) (查阅于 2026年10月15日).
延伸阅读
- 在Google上被找到、被AI引用:魁北克中小企业的SEO、AEO与GEO面向魁北克中小企业的完整指南:涵盖技术SEO与本地SEO、直接回答、结构化数据、AI爬虫、llms.txt以及效果衡量,帮助企业提升网站可见度,不做任何排名承诺或保证。
- 衡量您在谷歌和AI搜索引擎中的可见度,不自欺欺人借助Search Console、Bing Webmaster Tools,再加上每月测试一组固定问题,用简单易行的方法判断谷歌和各类AI搜索工具有没有引用您的中小企业,掌握网络可见度。
- 服务型中小企业的结构化数据:2026年该标记什么JSON-LD、LocalBusiness、Service:服务型中小企业应发布哪些结构化数据,哪些已经不再有用,以及如何测试并验证这些结构化数据是否正确,帮助网站更好地被搜索引擎理解。
- 测试:您的企业会被AI助手推荐吗?测试ChatGPT、Gemini、Perplexity、Claude、Copilot这些AI助手是否会向用户推荐您的企业:我们为您准备了10个可直接提问的问题,并按您所在的行业和所在城市量身调整。
Your whole business, on one screen.
Each department is a room. Pilotiko prepares the work; you approve with one click.
- Call answered
- Appointment confirmed
- Email reply ready
- Invoice prepared