Pilotiko feature : 已上线
robots.txt文件告诉搜索引擎爬虫什么?
网站根目录下一个常被忽视的小文本文件,却足以让整个网站在搜索引擎中消失。
robots.txt是放在网站根目录、地址为/robots.txt的文本文件,用来告诉爬虫哪些网址可以访问。它的主要作用是避免服务器负载过重。它不能把页面从Google中隐藏,也不保护任何数据。
30 days free, no credit card.
要点
- 正式标准:RFC 9309(机器人排除协议 Robots Exclusion Protocol),2022年9月发布。
- 地址始终是/robots.txt,全部小写,采用UTF-8编码。
- 它不是安全措施:遵守它的爬虫都是自愿遵守。
- 要把页面从搜索结果中排除,应使用noindex,而不是robots.txt。
规则是如何被读取的?
文件被划分为若干组。每组以一行或多行user-agent开头,指明针对的爬虫,随后是allow(允许)或disallow(禁止)规则 [2]。
对于某个网址,爬虫会采用最具体的规则,也就是路径匹配字符最多的那一条。如果allow规则和disallow规则同样具体,应以allow为准。如果没有任何规则匹配,则该网址被允许访问 [2]。
| 规则 | 请求的网址 | 结果 |
|---|---|---|
| 禁止访问:/admin/ | /admin/factures | 禁止 |
| Disallow: /admin/ 与 Allow: /admin/aide | /admin/aide | 允许:allow规则更长 |
| /services/ 没有任何规则 | /services/thermopompe | 允许 |
| Disallow: / | 所有网址 | 整个网站对目标爬虫禁止访问 |
RFC 9309中描述的最长匹配逻辑 [2]。
文件缺失或出错会怎样?
哪些robots.txt错误代价最高?
- 新网站上线时,误把测试环境的“Disallow: /”一并发布。
- 屏蔽了页面正常显示所需的CSS文件或图片。
- 为了把页面从Google中移除而禁止它,结果导致爬虫看不到noindex指令。
- 以为列在disallow中的“秘密”页面就受到保护:文件是公开的,反而会暴露它。
- 让服务器对/robots.txt返回5xx错误。
常见问题
robots.txt文件应该放在哪里?
放在网站根目录,地址必须是/robots.txt,全部小写。放在子文件夹中的文件不会被爬虫采用。
robots.txt能把页面从Google中移除吗?
不能。被禁止的页面如果有其他网站链接到它,仍可能保持被收录状态。要移除它,请使用noindex指令,并允许爬虫访问该页面以便读取该指令。
我的网站需要robots.txt吗?
不是必需的:根据RFC 9309,如果文件不存在(响应404),爬虫可以抓取整个网站。不过,一个简单的文件仍然有用,可以标明站点地图并排除技术性目录。
所有爬虫都会遵守robots.txt吗?
不会。Google提醒说其他爬虫可能会忽略它,标准也明确指出这些规则不是访问授权。敏感数据必须用其他方式保护。
修改多久才会生效?
RFC 9309指出,除非文件无法访问,否则爬虫使用缓存副本不应超过24小时。因此修改最长可能需要一天才会被读取。
robots.txt与llms.txt有什么区别?
robots.txt为爬虫提供访问规则。llms.txt是另一项独立的提议,为语言模型概述网站内容;它既不阻止也不允许任何访问。
资料来源
- Google Search Central, Présentation du fichier robots.txt (查阅于 2026年10月15日).
- IETF (RFC Editor), RFC 9309 : Robots Exclusion Protocol (查阅于 2026年10月15日).
- sitemaps.org, Sitemaps XML format (查阅于 2026年10月15日).
- Google Search Central, Spécifier une URL canonique avec rel="canonical" et d'autres méthodes (查阅于 2026年10月15日).
延伸阅读
- Sitemap XML:网站地图对搜索引擎有什么用?Sitemap XML(网站地图)是向搜索引擎列出网站页面的文件。本文介绍各类标签、官方规定的限制、适合中小企业的实际示例,以及设置时最容易犯的常见错误,帮你避开这些坑。
- 规范标签:如何告诉搜索引擎页面的正确版本?规范标签(canonical)告诉 Google 在多个重复页面中优先收录哪个网址。本文介绍设置方法、各类信号的强弱、计算示例以及常见错误,帮你更准确地处理网站上的重复页面。
- llms.txt:这个文件对大语言模型有什么用?llms.txt文件详解:谁提出了这个文件、它的Markdown结构、魁北克服务型中小企业的示例,以及它无法替您完成的事。了解llms.txt如何帮助AI大语言模型读懂您企业的网站。
- SEO:什么是自然搜索优化?用通俗的话解释SEO,即自然搜索优化:它涵盖哪些内容、一个面向魁北克服务型中小企业的数字示例,以及需要避免的常见错误,帮助企业主真正看懂搜索引擎优化。
Your whole business, on one screen.
Each department is a room. Pilotiko prepares the work; you approve with one click.
- Call answered
- Appointment confirmed
- Email reply ready
- Invoice prepared