# robots.txt文件告诉搜索引擎爬虫什么？

> robots.txt是告诉搜索引擎爬虫哪些页面可以访问的文件。了解RFC 9309标准规则、适合中小企业的写法示例，以及代价高昂的常见设置错误，避免网站从搜索结果中消失。

更新于 2026年10月15日 · https://app.pilotiko.com/zh/glossary/robots-txt

robots.txt是放在网站根目录、地址为/robots.txt的文本文件，用来告诉爬虫哪些网址可以访问。它的主要作用是避免服务器负载过重。它不能把页面从Google中隐藏，也不保护任何数据。

## 要点
- 正式标准：RFC 9309（机器人排除协议 Robots Exclusion Protocol），2022年9月发布。
- 地址始终是/robots.txt，全部小写，采用UTF-8编码。
- 它不是安全措施：遵守它的爬虫都是自愿遵守。
- 要把页面从搜索结果中排除，应使用noindex，而不是robots.txt。

## robots.txt文件有什么作用？

Google将它描述为告诉爬虫可以访问网站哪些网址的文件，主要目的是避免请求过多导致服务器过载 [1]。

自2022年9月起，该协议由IETF的RFC 9309标准规定。文件必须位于网站第一级的/robots.txt地址，文件名全部小写，采用UTF-8编码，并以纯文本形式提供 [2]。

## 规则是如何被读取的？

文件被划分为若干组。每组以一行或多行user-agent开头，指明针对的爬虫，随后是allow（允许）或disallow（禁止）规则 [2]。

对于某个网址，爬虫会采用最具体的规则，也就是路径匹配字符最多的那一条。如果allow规则和disallow规则同样具体，应以allow为准。如果没有任何规则匹配，则该网址被允许访问 [2]。

| 规则 | 请求的网址 | 结果 |
|---|---|---|
| 禁止访问：/admin/ | /admin/factures | 禁止 |
| Disallow: /admin/ 与 Allow: /admin/aide | /admin/aide | 允许：allow规则更长 |
| /services/ 没有任何规则 | /services/thermopompe | 允许 |
| Disallow: / | 所有网址 | 整个网站对目标爬虫禁止访问 |

RFC 9309中描述的最长匹配逻辑 [2]。

## 为什么robots.txt不能隐藏页面？

Google说得很明确：robots.txt不是让页面不出现在Google中的机制。被禁止的网址如果有其他网站链接到它，仍然可能被收录，其网址还可能显示在搜索结果中。要排除页面，需要使用noindex指令或密码保护 [1]。

标准也一再强调：这些规则并不构成任何形式的访问授权 [2]。居心不良的爬虫完全可以无视它们。切勿指望robots.txt来保护表单提交内容、发票或客户档案。

它也不能用来选择重复页面的主版本：Google不建议为此使用robots.txt，而是推荐使用[规范标签](https://app.pilotiko.com/zh/glossary/canonical-tag) [4]。

## 文件缺失或出错会怎样？

**示例：维多利亚维尔（Victoriaville）一家电工公司网站的四种情况**

根据服务器对/robots.txt请求的响应不同，RFC 9309规定了不同的处理方式 [2]。

- 响应404（文件不存在） : 爬虫可以抓取所有资源
- 响应503（服务器故障） : 爬虫必须假定一切都被禁止
- 600 KiB的文件 : 只能保证读取前500 KiB
- 文件在早上被修改 : 缓存副本最长可使用24小时
- **= 服务器长时间故障，即使没有任何disallow规则，也可能阻止整个网站被抓取。**

## 可以在其中标明站点地图吗？

可以。sitemaps.org协议允许在文件的任意位置添加一行以“Sitemap:”开头、后接[XML站点地图](https://app.pilotiko.com/zh/glossary/xml-sitemap)完整网址的内容，并且可以写入多条 [3]。这是向所有搜索引擎提示网站结构的简便方法。

## 哪些robots.txt错误代价最高？

- 新网站上线时，误把测试环境的“Disallow: /”一并发布。
- 屏蔽了页面正常显示所需的CSS文件或图片。
- 为了把页面从Google中移除而禁止它，结果导致爬虫看不到noindex指令。
- 以为列在disallow中的“秘密”页面就受到保护：文件是公开的，反而会暴露它。
- 让服务器对/robots.txt返回5xx错误。

## Pilotiko如何处理robots.txt？

对于Pilotiko搭建并托管的企业网站，会在生成站点地图、[结构化数据](https://app.pilotiko.com/zh/glossary/structured-data)和[llms.txt](https://app.pilotiko.com/zh/glossary/llms-txt)文件的同时生成robots.txt文件。这是[自然搜索优化](https://app.pilotiko.com/zh/glossary/seo)的基础，但不能取代对私密页面的真正保护。

## 常见问题

### robots.txt文件应该放在哪里？

放在网站根目录，地址必须是/robots.txt，全部小写。放在子文件夹中的文件不会被爬虫采用。

### robots.txt能把页面从Google中移除吗？

不能。被禁止的页面如果有其他网站链接到它，仍可能保持被收录状态。要移除它，请使用noindex指令，并允许爬虫访问该页面以便读取该指令。

### 我的网站需要robots.txt吗？

不是必需的：根据RFC 9309，如果文件不存在（响应404），爬虫可以抓取整个网站。不过，一个简单的文件仍然有用，可以标明站点地图并排除技术性目录。

### 所有爬虫都会遵守robots.txt吗？

不会。Google提醒说其他爬虫可能会忽略它，标准也明确指出这些规则不是访问授权。敏感数据必须用其他方式保护。

### 修改多久才会生效？

RFC 9309指出，除非文件无法访问，否则爬虫使用缓存副本不应超过24小时。因此修改最长可能需要一天才会被读取。

### robots.txt与llms.txt有什么区别？

robots.txt为爬虫提供访问规则。llms.txt是另一项独立的提议，为语言模型概述网站内容；它既不阻止也不允许任何访问。

## 资料来源

1. Google Search Central, « Présentation du fichier robots.txt », https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=fr (查阅于 2026-10-15)
2. IETF (RFC Editor), « RFC 9309 : Robots Exclusion Protocol », https://www.rfc-editor.org/rfc/rfc9309.html (查阅于 2026-10-15)
3. sitemaps.org, « Sitemaps XML format », https://www.sitemaps.org/protocol.html (查阅于 2026-10-15)
4. Google Search Central, « Spécifier une URL canonique avec rel="canonical" et d'autres méthodes », https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls?hl=fr (查阅于 2026-10-15)
