Pilotiko feature : 已上线
llms.txt:这个文件对大语言模型有什么用?
放在网站根目录的小型文本文件,为AI工具而非人类读者设计。
llms.txt文件是放在网站根目录(/llms.txt)的Markdown文本文件,用几行文字介绍企业,并列出最有用的页面,帮助大语言模型快速理解网站。它是2024年提出的开放性提案,并不是官方标准。
30 days free, no credit card.
要点
- 由Jeremy Howard于2024年9月3日提出。
- 唯一必需的内容:一个H1标题,写明网站或项目的名称。
- 提案还建议为每个有用的页面提供.md版本。
- 它是对robots.txt和站点地图的补充,而不是替代。
llms.txt文件的结构是什么?
提案规定了明确的顺序 [1]。包含项目或网站名称的H1标题是唯一必需的元素。其后依次是概括网站的引用块、可选的段落,然后是包含[名称](网址)格式链接列表的H2章节,链接后用冒号附上说明。按惯例,名为“Optional”的章节收录次要链接,空间不足时工具可以忽略它们。
该文件放在根目录(/llms.txt)或子文件夹中,例如/docs/llms.txt,此时它涵盖该文件夹内的页面 [1]。
| 文件 | 作用 | 状态 |
|---|---|---|
| robots.txt | 告诉机器人可以抓取哪些网址 | IETF标准(RFC 9309) |
| XML站点地图 | 列出页面及其更新日期 | sitemaps.org协议 |
| llms.txt | 用Markdown概括网站并指向有用的页面 | 开放性提案(2024年) |
根据llmstxt.org,llms.txt的设计目标是与robots.txt和sitemap.xml并存。
服务型中小企业的llms.txt是什么样子?
页面的.md版本是什么?
提案还要求为每个有用的页面在同一地址提供Markdown副本,方法是加上.md(page.html.md)或替换扩展名(page.md)。页面可以通过text/markdown类型的rel="alternate"链接来标示该副本 [1]。出发点相同:给工具提供干净、无修饰的文本。
使用llms.txt要避免哪些错误?
状态回顾:robots.txt由IETF的RFC 9309描述 [4],XML站点地图由sitemaps.org协议描述 [5];llms.txt还没有达到这样的认可程度。
- 误以为它能取代robots.txt:它既不阻止也不允许任何机器人。
- 在其中列出被XML站点地图或robots.txt排除的页面:信号会互相矛盾。
- 写成广告式摘要(“魁北克最好的”),而不是客观陈述。
- 网站改版后忘记更新:失效链接对谁都没有帮助。
- 认为它对Google是必需的:Google表示,其AI功能不需要任何额外要求 [3]。
常见问题
llms.txt文件是必须的吗?
不是。它是没有标准地位的开放性提案。发布几乎不花成本,但没有它也不妨碍网站被收录。
Google会读取llms.txt文件吗?
Google关于其AI功能的文档没有提到它,并明确说明无需特别优化。因此不要指望靠llms.txt出现在AI Overviews中。
llms.txt与robots.txt有什么区别?
robots.txt告诉机器人可以抓取什么,是访问规则。llms.txt概括内容并提供链接,是阅读辅助,对访问权限没有影响。
llms.txt文件应该放在哪里?
放在域名根目录,地址为/llms.txt。提案也允许在子文件夹中放置一个,只涵盖该文件夹内的页面。
Optional章节里放什么?
有用但次要的链接:招聘、政策、存档。AI工具需要更短的上下文时可以跳过它们。
资料来源
- llmstxt.org, The /llms.txt file (查阅于 2026年10月15日).
- Answer.AI (GitHub), llms-txt (dépôt du projet) (查阅于 2026年10月15日).
- Google Search Central, Fonctionnalités d'IA et votre site Web (查阅于 2026年10月15日).
- IETF (RFC Editor), RFC 9309 : Robots Exclusion Protocol (查阅于 2026年10月15日).
- sitemaps.org, Sitemaps XML format (查阅于 2026年10月15日).
延伸阅读
- robots.txt文件告诉搜索引擎爬虫什么?robots.txt是告诉搜索引擎爬虫哪些页面可以访问的文件。了解RFC 9309标准规则、适合中小企业的写法示例,以及代价高昂的常见设置错误,避免网站从搜索结果中消失。
- Sitemap XML:网站地图对搜索引擎有什么用?Sitemap XML(网站地图)是向搜索引擎列出网站页面的文件。本文介绍各类标签、官方规定的限制、适合中小企业的实际示例,以及设置时最容易犯的常见错误,帮你避开这些坑。
- GEO:什么是面向生成式引擎的优化?GEO详解:这个术语从何而来,研究和Google对AI回答有何说法,以及一份可量化的评分表,帮助魁北克中小企业评估自家网页是否适合被AI搜索引用,一步步提升可见度。
- 大型语言模型(LLM):它是如何运作的?LLM 即大型语言模型,究竟是什么?本文讲解词元预测的基本原理、LLM 在中小企业的实际应用、一个带数字的示例,以及采用之前必须了解的各种局限,帮助企业主做出判断。
Your whole business, on one screen.
Each department is a room. Pilotiko prepares the work; you approve with one click.
- Call answered
- Appointment confirmed
- Email reply ready
- Invoice prepared