AI幻觉:为什么AI会编造答案?
捏造的价格、不存在的法律、错误的地址:如何识别并减少这类错误。
AI幻觉是指人工智能模型生成的不正确、不恰当或虚构的内容,却以陈述事实的方式呈现,仿佛真实可信或完全符合要求。它源于生成式模型本身的运作方式:模型预测的是看起来合理的文本,而不会核实其是否属实。
30 days free, no credit card.
要点
- 魁北克法语办公室(OQLF)推荐使用的术语:AI幻觉(hallucination d'IA)。
- 美国NIST更倾向于使用“虚构”(confabulation)一词:指以十足把握断言的错误内容。
- 危险在于自信的语气,它会让人不加核实就信以为真。
- 提供资料来源并要求附上引文,可以减少幻觉。
AI幻觉从何而来?
根据OQLF的术语条目,当大型语言模型的训练数据不足或存在缺漏,或者最初的请求含糊不清时,就可能出现幻觉。该条目引用了一个著名的例子:一款热门AI声称詹姆斯·韦伯望远镜拍下了首批系外行星照片,而这些照片拍摄于2004年,望远镜却是2021年才发射的 [1]。
NIST在其生成式AI概要文件中使用“虚构”(confabulation)一词:指生成错误或虚假的内容并以十足把握加以断言。它解释说,这是模型设计的自然结果,因为模型生成的输出接近其训练数据的统计分布。NIST还指出,有人认为“幻觉”一词过于拟人化 [2]。
OQLF补充说,幻觉不只出现在文本中:在生成的图像或声音里同样可能出现 [1]。
中小企业里的AI幻觉是什么样子?
| 类型 | 服务型企业中的例子 | 后果 |
|---|---|---|
| 捏造事实 | 一个在您的价目表中根本找不到的价格或期限 | 做出无法兑现的承诺 |
| 虚构来源 | 一条不存在的市政条例或法律条文 | 给客户错误的建议 |
| 自相矛盾 | 同一个回答里出现两个不同的营业时间 | 失去信任 |
| 答非所问 | 客户问的是排水槽,回答的却是平屋顶 | 浪费时间,客户不满 |
不经人工审核,会有多少错误漏过?
如何减少AI幻觉?
Anthropic关于其Claude模型的文档提出了一些简单的技巧:明确允许模型说“我不知道”;处理长文档时,先让它逐字摘录引文,再基于这些引文开展工作;让它的每一项论断都以一条可供核实的引文为依据 [3]。
- 提供资料来源:把您的价目表或取消政策直接贴进请求里,而不是让模型自己去猜。
- 限定主题:只依据您的文档作答的模型,编造得更少。
- 要求给出参考来源:没有可核实来源的回答,只能当作草稿处理。
- 让人参与其中:任何内容发出前先经人工审批,是最可靠的保障。
- 在您的网站上发布清晰的事实信息,包括使用结构化数据,让各类助手和谷歌的AI Overviews能找到正确的信息。
哪些错误会让问题更严重?
- 只说“帮我找一个关于……的统计数据”却不要求提供链接:这正是捏造来源的温床。
- 让与您的客户相连的AI代理在没有审核发出信息的情况下自行运作。
- 把文字的流畅当作准确无误的保证。
- 只纠正一次错误,却不修改指令,也不调整所提供的资料来源。
Pilotiko如何限制这种风险?
Pilotiko的AI代理依据企业的真实数据(日程、预约、工作量)工作,而不是凭记忆。更重要的是,凡是涉及客户、资金或对外发送的操作,都要等人点头同意:即使出现幻觉,也只是一份待修改的草稿,而不是一条已经发出的信息。
常见问题
为什么AI会编造,而不是说它不知道?
模型预测的是最合理的后续文本,而编造出来的回答也可能非常合理。如果没有指令允许它表达不确定,它往往倾向于把空白填满。Anthropic的文档恰恰建议允许它说“我不知道”。
新一代模型出来后,幻觉会消失吗?
模型在不断进步,但NIST把虚构描述为生成式模型设计方式的自然结果。因此,即使使用最好的工具,也要预留核实环节。
AI幻觉会让我的企业承担责任吗?
如果以贵公司的名义向客户发送了一条错误的信息,那就是贵公司发出的。若涉及具体的法律问题,请咨询律师。这正是为什么要在任何内容发出之前先加以核实。
如何快速识别AI幻觉?
先核对数字、专有名词、日期,以及对法律或网页的引用。这些是最常被编造的内容。如果一条引用无法查到,那就是一个警示信号。
“幻觉”是个恰当的术语吗?
OQLF推荐使用“AI幻觉”。NIST则更倾向于“虚构”,并指出有人认为“幻觉”过于拟人化。两者指的是同一个问题。
资料来源
- Office québécois de la langue française (Vitrine linguistique), hallucination d'IA (GDT) (查阅于 2026年10月15日).
- NIST, NIST AI 600-1 : Generative Artificial Intelligence Profile (查阅于 2026年10月15日).
- Anthropic (documentation Claude), Reduce hallucinations (查阅于 2026年10月15日).
延伸阅读
- 大型语言模型(LLM):它是如何运作的?LLM 即大型语言模型,究竟是什么?本文讲解词元预测的基本原理、LLM 在中小企业的实际应用、一个带数字的示例,以及采用之前必须了解的各种局限,帮助企业主做出判断。
- AI智能体:什么是人工智能智能体?AI智能体通过串联多个步骤和工具来完成目标。本文介绍其定义、工作循环、面向魁北克中小企业的量化示例以及安全防护措施,帮助企业主了解AI智能体能做什么、不能做什么。
- 人工审批:什么是“human-in-the-loop”?人工审批让专人在AI执行敏感操作前把关。本文介绍人工监督的几种常见形式、魁北克与加拿大的相关规定、带数字的实际示例以及企业最容易犯的错误,帮助你更稳妥、放心地使用AI。
- 结构化数据:什么是 schema.org 和 JSON-LD?结构化数据、schema.org 与 JSON-LD 详解:了解 Google 支持的数据格式、魁北克中小企业的 LocalBusiness 标记写法,以及常见的标记错误,让搜索引擎更好地理解您的网站。
Your whole business, on one screen.
Each department is a room. Pilotiko prepares the work; you approve with one click.
- Call answered
- Appointment confirmed
- Email reply ready
- Invoice prepared