Pilotiko feature : 已上线

出现在ChatGPT、Claude和Perplexity中:中小企业能掌控什么

AI怎么回答不由您决定。您能决定的,是它能读到什么,以及它读到的内容质量如何。

想有机会被ChatGPT、Claude或Perplexity引用,请在robots.txt中放行它们的搜索爬虫(OAI-SearchBot、Claude-SearchBot、PerplexityBot),并发布清楚回答客户问题、可以核实的页面。屏蔽训练爬虫并不妨碍出现在它们的搜索中。没有任何设置能保证被引用。

Try the free toolTry 30 days free

作者 Pilotiko editorial team · 更新于

要点

  • 每家AI公司都把爬虫分开:搜索、训练,以及应用户要求的访问。
  • 屏蔽OAI-SearchBot会让您的网站从ChatGPT的搜索回答中消失;屏蔽GPTBot则不会。
  • Google-Extended不会改变您在Google搜索中的位置。
  • 被引用的内容精确、有日期、有来源,而且便于提取。

哪些AI爬虫会访问中小企业的网站?

三类:为助手中的搜索提供内容的爬虫、为训练模型收集内容的爬虫,以及由用户某个具体问题触发的访问。

OpenAI记录了三种代理:OAI-SearchBot让网站出现在ChatGPT的搜索功能中,GPTBot收集可能用于训练模型的内容,ChatGPT-User在用户要求时访问某个页面。OpenAI说明,这些设置彼此独立 [1]。

Anthropic遵循同样的逻辑,有ClaudeBot(训练)、Claude-User(应Claude用户要求的访问)和Claude-SearchBot(为搜索建立索引)[2]。Perplexity区分PerplexityBot(让网站出现在其结果中并附上链接)和Perplexity-User(应用户要求获取页面)[3]。

在Google方面,AI概览没有单独的爬虫:用的就是Googlebot。Google-Extended令牌只用来表明您的内容能否用于训练Gemini,或在搜索之外为其回答提供依据;Google指出,它对Google搜索中的收录和排名没有任何影响 [4]。

已有文档说明的AI爬虫,以及在robots.txt中屏蔽的效果
爬虫公司作用如果屏蔽它
OAI-SearchBotOpenAIChatGPT中的搜索您的页面不再显示在搜索回答中(仍可能保留导航链接)[1]
GPTBotOpenAI模型训练对ChatGPT搜索没有影响 [1]
ChatGPT-UserOpenAI应用户要求的访问不用于决定是否收录于搜索 [1]
Claude-SearchBotAnthropic为搜索建立索引在回答中的可见度可能降低 [2]
Claude-UserAnthropic应用户要求的访问可见度可能降低 [2]
ClaudeBotAnthropic训练您今后的内容将被排除在训练之外 [2]
PerplexityBotPerplexityPerplexity的结果被链接的机会变小;不用于训练模型 [3]
Perplexity-UserPerplexity应用户要求的访问通常忽略robots.txt [3]
Google-ExtendedGoogleGemini的训练与依据对Google搜索没有影响 [4]

想被引用又不想为训练提供内容,robots.txt该怎么写?

放行搜索爬虫,如果愿意,再拒绝训练爬虫。这是商业决策,不是技术义务。

不少中小企业读过一篇关于AI的文章后“出于谨慎”把一切都屏蔽了。结果是网站从ChatGPT的回答中消失,而本意只是不想被用于训练。在改动任何内容之前,请先到votresite.com/robots.txt读一读您现有的文件。

Anthropic提醒,规则必须设在每一个相关的子域名上 [2]。如果您的预约系统在某个子域名上,它有自己的文件。

AI搜索引擎更愿意引用什么样的内容?

可以核实、便于提取的内容:开头给出清晰的答案,有日期和来源的数字,明确的作者或企业,以及您企业独有的事实。

Google建议提供“不平庸”的内容:超越人人皆知之外的亲身经验和专业见解。它还指出,不必把内容切成小块,也不必为AI重写 [5]。对AI引擎有帮助的,对人类读者同样有帮助。

对服务型中小企业来说,这意味着:您的服务区域、真实的工期、(如果公开的话)起步价格、您的执照(例如RBQ),以及客户在电话里问您的那些问题的答案。一个只有三行泛泛介绍的“我们的服务”页面,无法给正在寻找精确答案的AI提供任何东西。

llms.txt文件是必需的吗?

对Google不是,在其他地方也许有用。这是2024年发布的一项提案,不是标准;Google搜索不使用它。

llms.txt文件是2024年的一项提案:放在网站根目录的Markdown文件,概述企业并指向其关键页面 [6]。Google指出,搜索不使用它,该文件既不会提升也不会损害可见度,出于其他服务的需要可以保留 [5]。

如果是自动生成的,成本很低。风险在别处:llms.txt描述了您已不再提供的服务。请让它与网站保持同步。

如何知道AI是否已经引用了您的企业?

每月向ChatGPT、Claude和Perplexity提出一次客户常问您的十个问题,并记录谁被引用。完整的方法及跟踪表格见衡量您在AI中的可见度。AI存在度工具可以帮您整理这组问题。

如需总览(技术SEO、直接回答、Google资料和衡量),请阅读支柱指南在Google上被找到并被AI引用。

Pilotiko为AI中的可见度做了什么?

当Pilotiko建设并托管您的网站(网站)时,它会生成robots.txt、站点地图、结构化数据和llms.txt文件,还可以审计您当前的网站(SEO、AEO和GEO)。robots.txt规则仍由您决定:发布之前,我们会向您展示每一行的效果。

常见问题

如果我屏蔽GPTBot,会从ChatGPT中消失吗?

不会。OpenAI指出,屏蔽GPTBot只表示您的内容不应用于训练。决定能否出现在ChatGPT搜索回答中的是OAI-SearchBot。

屏蔽Google-Extended会损害我在Google的排名吗?

不会。Google明确写道,Google-Extended对网站是否被收录进Google搜索没有影响,也不是排名信号。它涉及的是Gemini的训练和依据。

可以付费让ChatGPT或Perplexity引用我吗?

所查阅的文档中,没有一份描述过付费被引用的方法。对承诺“保证引用”的服务要提高警惕:连Google都提醒,没有任何第三方工具能够接触它的内部系统。

我的网站是新的:要多久才会被引用?

没有人公布过时间。首先,您的页面要被每个引擎抓取并索引,然后还要被判定与某个问题相关。请在Search Console和Bing Webmaster Tools中检查索引情况。

Perplexity遵守robots.txt吗?

根据Perplexity的文档,PerplexityBot遵循robots.txt。Perplexity-User是应用户要求获取页面,通常会忽略它,因为访问是由真人触发的。

需要为AI改变写法吗?

Google说不需要:针对生成式搜索,没有需要采用的特殊风格。请写出清晰、精确、属于您企业自己的回答;这既服务了您的客户,也服务了搜索引擎。

资料来源

  1. OpenAI, Overview of OpenAI Crawlers (查阅于 2026年10月15日).
  2. Anthropic, centre d'aide Claude, Does Anthropic crawl data from the web, and how can site owners block the crawler? (查阅于 2026年10月15日).
  3. Perplexity, Perplexity Crawlers (查阅于 2026年10月15日).
  4. Google, Robots d'exploration courants de Google (dont Google-Extended) (查阅于 2026年10月15日).
  5. Google Search Central, Guide d'optimisation pour la recherche générative par IA (查阅于 2026年10月15日).
  6. llmstxt.org, The /llms.txt file (proposition) (查阅于 2026年10月15日).

Your whole business, on one screen.

Each department is a room. Pilotiko prepares the work; you approve with one click.

Try 30 days free

The Pilotiko office of a sample company: each department is a room.
  • Call answered
  • Appointment confirmed
  • Email reply ready
  • Invoice prepared

和您的团队一起试用办公室

免费 30 天。

免费试用 30 天