AI幻觉:为什么AI会编造答案?

捏造的价格、不存在的法律、错误的地址:如何识别并减少这类错误。

AI幻觉是指人工智能模型生成的不正确、不恰当或虚构的内容,却以陈述事实的方式呈现,仿佛真实可信或完全符合要求。它源于生成式模型本身的运作方式:模型预测的是看起来合理的文本,而不会核实其是否属实。

Try 30 days free

30 days free, no credit card.

作者 Pilotiko editorial team · 更新于

要点

  • 魁北克法语办公室(OQLF)推荐使用的术语:AI幻觉(hallucination d'IA)。
  • 美国NIST更倾向于使用“虚构”(confabulation)一词:指以十足把握断言的错误内容。
  • 危险在于自信的语气,它会让人不加核实就信以为真。
  • 提供资料来源并要求附上引文,可以减少幻觉。

AI幻觉从何而来?

根据OQLF的术语条目,当大型语言模型的训练数据不足或存在缺漏,或者最初的请求含糊不清时,就可能出现幻觉。该条目引用了一个著名的例子:一款热门AI声称詹姆斯·韦伯望远镜拍下了首批系外行星照片,而这些照片拍摄于2004年,望远镜却是2021年才发射的 [1]。

NIST在其生成式AI概要文件中使用“虚构”(confabulation)一词:指生成错误或虚假的内容并以十足把握加以断言。它解释说,这是模型设计的自然结果,因为模型生成的输出接近其训练数据的统计分布。NIST还指出,有人认为“幻觉”一词过于拟人化 [2]。

OQLF补充说,幻觉不只出现在文本中:在生成的图像或声音里同样可能出现 [1]。

中小企业里的AI幻觉是什么样子?

幻觉的类型及可能的后果
类型服务型企业中的例子后果
捏造事实一个在您的价目表中根本找不到的价格或期限做出无法兑现的承诺
虚构来源一条不存在的市政条例或法律条文给客户错误的建议
自相矛盾同一个回答里出现两个不同的营业时间失去信任
答非所问客户问的是排水槽,回答的却是平屋顶浪费时间,客户不满

不经人工审核,会有多少错误漏过?

如何减少AI幻觉?

Anthropic关于其Claude模型的文档提出了一些简单的技巧:明确允许模型说“我不知道”;处理长文档时,先让它逐字摘录引文,再基于这些引文开展工作;让它的每一项论断都以一条可供核实的引文为依据 [3]。

  • 提供资料来源:把您的价目表或取消政策直接贴进请求里,而不是让模型自己去猜。
  • 限定主题:只依据您的文档作答的模型,编造得更少。
  • 要求给出参考来源:没有可核实来源的回答,只能当作草稿处理。
  • 让人参与其中:任何内容发出前先经人工审批,是最可靠的保障。
  • 在您的网站上发布清晰的事实信息,包括使用结构化数据,让各类助手和谷歌的AI Overviews能找到正确的信息。

哪些错误会让问题更严重?

  • 只说“帮我找一个关于……的统计数据”却不要求提供链接:这正是捏造来源的温床。
  • 让与您的客户相连的AI代理在没有审核发出信息的情况下自行运作。
  • 把文字的流畅当作准确无误的保证。
  • 只纠正一次错误,却不修改指令,也不调整所提供的资料来源。

Pilotiko如何限制这种风险?

Pilotiko的AI代理依据企业的真实数据(日程、预约、工作量)工作,而不是凭记忆。更重要的是,凡是涉及客户、资金或对外发送的操作,都要等人点头同意:即使出现幻觉,也只是一份待修改的草稿,而不是一条已经发出的信息。

常见问题

为什么AI会编造,而不是说它不知道?

模型预测的是最合理的后续文本,而编造出来的回答也可能非常合理。如果没有指令允许它表达不确定,它往往倾向于把空白填满。Anthropic的文档恰恰建议允许它说“我不知道”。

新一代模型出来后,幻觉会消失吗?

模型在不断进步,但NIST把虚构描述为生成式模型设计方式的自然结果。因此,即使使用最好的工具,也要预留核实环节。

AI幻觉会让我的企业承担责任吗?

如果以贵公司的名义向客户发送了一条错误的信息,那就是贵公司发出的。若涉及具体的法律问题,请咨询律师。这正是为什么要在任何内容发出之前先加以核实。

如何快速识别AI幻觉?

先核对数字、专有名词、日期,以及对法律或网页的引用。这些是最常被编造的内容。如果一条引用无法查到,那就是一个警示信号。

“幻觉”是个恰当的术语吗?

OQLF推荐使用“AI幻觉”。NIST则更倾向于“虚构”,并指出有人认为“幻觉”过于拟人化。两者指的是同一个问题。

资料来源

  1. Office québécois de la langue française (Vitrine linguistique), hallucination d'IA (GDT) (查阅于 2026年10月15日).
  2. NIST, NIST AI 600-1 : Generative Artificial Intelligence Profile (查阅于 2026年10月15日).
  3. Anthropic (documentation Claude), Reduce hallucinations (查阅于 2026年10月15日).

Your whole business, on one screen.

Each department is a room. Pilotiko prepares the work; you approve with one click.

Try 30 days free

The Pilotiko office of a sample company: each department is a room.
  • Call answered
  • Appointment confirmed
  • Email reply ready
  • Invoice prepared

和您的团队一起试用办公室

免费 30 天。

免费试用 30 天