Pilotiko feature : 已上线

robots.txt文件告诉搜索引擎爬虫什么?

网站根目录下一个常被忽视的小文本文件,却足以让整个网站在搜索引擎中消失。

robots.txt是放在网站根目录、地址为/robots.txt的文本文件,用来告诉爬虫哪些网址可以访问。它的主要作用是避免服务器负载过重。它不能把页面从Google中隐藏,也不保护任何数据。

Try 30 days free

30 days free, no credit card.

作者 Pilotiko editorial team · 更新于

要点

  • 正式标准:RFC 9309(机器人排除协议 Robots Exclusion Protocol),2022年9月发布。
  • 地址始终是/robots.txt,全部小写,采用UTF-8编码。
  • 它不是安全措施:遵守它的爬虫都是自愿遵守。
  • 要把页面从搜索结果中排除,应使用noindex,而不是robots.txt。

robots.txt文件有什么作用?

Google将它描述为告诉爬虫可以访问网站哪些网址的文件,主要目的是避免请求过多导致服务器过载 [1]。

自2022年9月起,该协议由IETF的RFC 9309标准规定。文件必须位于网站第一级的/robots.txt地址,文件名全部小写,采用UTF-8编码,并以纯文本形式提供 [2]。

规则是如何被读取的?

文件被划分为若干组。每组以一行或多行user-agent开头,指明针对的爬虫,随后是allow(允许)或disallow(禁止)规则 [2]。

对于某个网址,爬虫会采用最具体的规则,也就是路径匹配字符最多的那一条。如果allow规则和disallow规则同样具体,应以allow为准。如果没有任何规则匹配,则该网址被允许访问 [2]。

中小企业robots.txt中几条规则的解读
规则请求的网址结果
禁止访问:/admin//admin/factures禁止
Disallow: /admin/ 与 Allow: /admin/aide/admin/aide允许:allow规则更长
/services/ 没有任何规则/services/thermopompe允许
Disallow: /所有网址整个网站对目标爬虫禁止访问

RFC 9309中描述的最长匹配逻辑 [2]。

为什么robots.txt不能隐藏页面?

Google说得很明确:robots.txt不是让页面不出现在Google中的机制。被禁止的网址如果有其他网站链接到它,仍然可能被收录,其网址还可能显示在搜索结果中。要排除页面,需要使用noindex指令或密码保护 [1]。

标准也一再强调:这些规则并不构成任何形式的访问授权 [2]。居心不良的爬虫完全可以无视它们。切勿指望robots.txt来保护表单提交内容、发票或客户档案。

它也不能用来选择重复页面的主版本:Google不建议为此使用robots.txt,而是推荐使用规范标签 [4]。

文件缺失或出错会怎样?

可以在其中标明站点地图吗?

可以。sitemaps.org协议允许在文件的任意位置添加一行以“Sitemap:”开头、后接XML站点地图完整网址的内容,并且可以写入多条 [3]。这是向所有搜索引擎提示网站结构的简便方法。

哪些robots.txt错误代价最高?

  • 新网站上线时,误把测试环境的“Disallow: /”一并发布。
  • 屏蔽了页面正常显示所需的CSS文件或图片。
  • 为了把页面从Google中移除而禁止它,结果导致爬虫看不到noindex指令。
  • 以为列在disallow中的“秘密”页面就受到保护:文件是公开的,反而会暴露它。
  • 让服务器对/robots.txt返回5xx错误。

Pilotiko如何处理robots.txt?

对于Pilotiko搭建并托管的企业网站,会在生成站点地图、结构化数据和llms.txt文件的同时生成robots.txt文件。这是自然搜索优化的基础,但不能取代对私密页面的真正保护。

常见问题

robots.txt文件应该放在哪里?

放在网站根目录,地址必须是/robots.txt,全部小写。放在子文件夹中的文件不会被爬虫采用。

robots.txt能把页面从Google中移除吗?

不能。被禁止的页面如果有其他网站链接到它,仍可能保持被收录状态。要移除它,请使用noindex指令,并允许爬虫访问该页面以便读取该指令。

我的网站需要robots.txt吗?

不是必需的:根据RFC 9309,如果文件不存在(响应404),爬虫可以抓取整个网站。不过,一个简单的文件仍然有用,可以标明站点地图并排除技术性目录。

所有爬虫都会遵守robots.txt吗?

不会。Google提醒说其他爬虫可能会忽略它,标准也明确指出这些规则不是访问授权。敏感数据必须用其他方式保护。

修改多久才会生效?

RFC 9309指出,除非文件无法访问,否则爬虫使用缓存副本不应超过24小时。因此修改最长可能需要一天才会被读取。

robots.txt与llms.txt有什么区别?

robots.txt为爬虫提供访问规则。llms.txt是另一项独立的提议,为语言模型概述网站内容;它既不阻止也不允许任何访问。

资料来源

  1. Google Search Central, Présentation du fichier robots.txt (查阅于 2026年10月15日).
  2. IETF (RFC Editor), RFC 9309 : Robots Exclusion Protocol (查阅于 2026年10月15日).
  3. sitemaps.org, Sitemaps XML format (查阅于 2026年10月15日).
  4. Google Search Central, Spécifier une URL canonique avec rel="canonical" et d'autres méthodes (查阅于 2026年10月15日).

Your whole business, on one screen.

Each department is a room. Pilotiko prepares the work; you approve with one click.

Try 30 days free

The Pilotiko office of a sample company: each department is a room.
  • Call answered
  • Appointment confirmed
  • Email reply ready
  • Invoice prepared

和您的团队一起试用办公室

免费 30 天。

免费试用 30 天