10. 子墨ALEX思考:AI一本正经说错话,我们为什么还是信了它
用 AI 用久了你会发现一件挺矛盾的事:它明明经常说错,我们却越来越离不开它。这不是我瞎说,是有真实数据的。
Vectara 有一个专门测"AI 编造事实"的公开榜单,叫 Hallucination Leaderboard,这两年一直在更新。最新一批数据显示,就算是排名最靠前的模型,在"总结一篇文档"这种相对简单的任务上,也还是有 1.8% 的概率会编造内容;大多数主流模型的这个数字在 3%-5% 之间。注意,这测的还只是"总结文档"这种有明确答案可以核对的任务——换成开放式的问答、没有标准答案的分析和预测,实际出错的概率只会更高,只是没有这么精确的公开数字。
问题不在于"AI 还会犯错",这个大家都知道。真正麻烦的是,AI 编的错误跟人编的错误不一样——它不会心虚,不会犹豫,语气跟说对的时候一模一样。人说谎多少会露点马脚,AI 编事实的时候,标点、逻辑、行文一样流畅自信。这就是为什么"一本正经地胡说八道"这句话会流行起来。
为什么我们越来越容易信它。 一开始大家都会习惯性地核对一下 AI 给的答案,但用久了,尤其是它连续对了很多次之后,人会不知不觉放松警惕。这在心理学上有个说法叫"自动化偏见"——一件事交给自动化工具做的次数越多,人越倾向于不再检查它,哪怕它这次可能是错的。医院、法律、财务这些容错率低的领域,这个问题尤其危险,因为一次没查出来的错误,代价可能很大。
我的判断是这样的:AI 会不会编事实,不是决定要不要用它的问题——它肯定会编,任何一个模型都会。真正决定你用得好不好的,是你有没有养成"关键信息必须核对"的习惯。具体说,遇到这几种情况一定要停下来查一遍:涉及金额、日期、法律条款这类具体数字或事实的;AI 给的答案会直接影响别人(客户、员工、家人)的;你自己完全没有能力判断对错、只能靠"感觉它说得挺像那么回事"的。反过来,写文案、列思路、整理格式这类"错了也无所谓、能改"的场景,不用这么紧张。
这也是我一直坚持在 AI实战百科全书 BaikeBook.com 上,每个词条不只是说"这个工具能干嘛",还要说清楚"它容易在哪里出错、进阶用户该怎么核实"的原因——会用 AI 的第一步,不是学会更多话术,而是知道什么时候该多问一句"这是真的吗"。
参考资料:Vectara Hallucination Leaderboard(github.com/vectara/hallucination-leaderboard,公开、持续更新的大模型幻觉率评测榜单)。