摘要: 原标题:第一批拿AI当作业神器的孩子,被AI的已读乱回整不会了 AI是一个强大的助手,但如果孩子把AI当拐杖,想利用AI来偷懒,那么AI幻觉就像是一种警示
原标题:第一批拿AI当“作业神器”的孩子,被AI的“已读乱回”整不会了……
AI是一个强大的助手,但如果孩子把AI当拐杖,想利用AI来偷懒,那么AI幻觉就像是一种警示。
恰逢开学季,DeepSeek作为今年新登场的“学习助手”让大家又爱又恨, 首当其冲的就是企图用DeepSeek解决作业的孩子们。
最近,博主无敌大薇薇就分享了一个故事:
孩子在做寒假作业时,有好几道数学题不会做,就向DeepSeek提问。
DeepSeek不仅展示了最终结论,还展示了完整的思考、推演与验证的过程,让娃不仅知其然,也知其所以然。
用DeepSeek解答数学思训题
就这样,大家一直很信任DeepSeek。但有一天却出了bug,娃和他爸验算反推了N次,又问了数学老师,发现DeepSeek给的答案和过程是错的。除非发现它的问题,并提出来继续提问,它才会往正路上逐步修改。
看似一本正经,实则胡说八道,这种情况被专业人士称为AI幻觉(AI Hallucinations)。
数学题还能靠写写算算发现问题,如果AI幻觉出现得更加隐蔽呢?孩子们可能都无知无觉。
先前有多信任,现在就有多震惊,甚至是后怕。
有时候,AI可能在“已读乱回”
AI幻觉指AI会生成看似合理,但实际不准确或虚假的信息。
举个例子,如果你问它“姚明有多高”,它大概率不会错,因为这知识点很明确,它能记住。但你如果问“隔壁老王有多高”,它可能就懵了,因为它没见过老王。
但是它的设计原理又决定了,它必须要“接茬儿”。于是,它就自动“脑补”,根据“一般人有多高”这个概念,编一个数出来,这就是“幻觉”。
其实, AI幻觉并不是一个新概念。在ChatGPT刚推出时,就已经有了很多相关讨论。
沃顿商学院的 Ethan Mollick 教授称 ChatGPT 就像一个“无所不知、渴望取悦你的实习生,有时会对你撒谎”。
当Fast Company要求 ChatGPT 为特斯拉撰写一份季度收益报告时,它回复了一篇措辞流畅、没有语法错误、语言流畅的文章,但它也插入了一组与任何真实的特斯拉报告都不对应的随机数字。
今年爆火的DeepSeek,显然也没能避免AI幻觉这个问题。
外滩君也尝试着与DeepSeek开启了一段对话,企图用它解决一些工作中的迷思。
“我想看几本关于国际教育行业的书籍,有推荐吗?”
通过深度思考后,DeepSeek给出了这样的答案:
可拿着这份书单逐一搜索时,外滩君却发现,有些书根本找不到。在追问它时,它已经显示“服务器繁忙,请稍后再试”了。
所以,当你向AI提出一个刁钻的问题时,看似它给出了你一个逻辑缜密的答案,但有可能它只是在一本正经地胡说八道。
随着版本的更新,ChatGPT“胡言乱语”的症状逐步减轻; 而学会“深度思考”的DeepSeek,给出答案前会展示详细的思考过程,进而给出一个逻辑满分的合理答案。
如果不进行仔细探究与查证,我们确实很难分辨出,AI给出的答案到底是真是假。
AI幻觉是所有生成式AI的
“致命缺陷”
DeepSeek-R1正式版发布即将满月。
这一个月里,在很多方面,它都表现得非常出色。
不仅华为、阿里、360、腾讯、字节等大厂,纷纷把产品接入DeepSeek。
据不完全统计,接入DeepSeek的软件领域已经包括云服务、网络安全、芯片、汽车、手机、医疗、教育、办公等。
真可谓“万物皆可DeepSeek”。
但是目前,它14.3%的AI幻觉率远超行业平均水平,这也是它目前面临的最大问题。
Vectara HHEM人工智能幻觉测试:人工智能行业权威测试,通过检测语言模型生成内容是否与原始证据一致,从而评估模型的幻觉率,帮助优化和选择模型。
从技术上说,DeepSeek-R1的幻觉问题严重,和它独特的学习模式有关。
当然,AI幻觉不仅仅是DeepSeek的问题,而是所有生成式AI的“通病”。我们相信这会在以后的迭代中改善。
但是DeepSeek的高超性能和超高的普及率,也让一些问题更加严峻,尤其是对孩子来说。
首先,就是虚假消息泛滥更普遍、范围更大了。
前两天,微信接入DeepSeek的消息炸开了锅。数据显示,微信的用户数量截止去年年底,已经接近14亿。 有网友发出感叹:“国运级AI+国民级应用,真正的王炸组合”。
外滩君有幸成为这对“王炸组合”的灰度测试用户。通过DeepSeek生成的答案可以一键转发给好友,或者直接分享到朋友圈。
一旦AI幻觉给出一些虚假信息,而我们又没能看出来,那一键转发的可就不是“AI的深思熟虑”而是假消息了。
保持质疑、辩证思考,这些自ChatGPT面世以来,大家就在念叨了。但现在,AI幻觉带来的挑战正在升级, AI正在制造一种更大规模、更自圆其说、更闭环的“信息茧房”。
在网络上,大家分享着AI幻觉的各种不靠谱回答:
我们或许会成为一个领域的专家,对这个领域的专业知识了然于胸,有能力去分辨、去查证AI幻觉的胡言乱语。但我们不可能成为每个领域的专家。
而且,AI们都还有着“讨好型人格”。当与它对话时,它会投其所好地回答出“你更想看到的答案”,而不一定是正确的答案。当我们习惯了这样的舒适区,当AI系统开始预判你的预判,谁能保证它不会篡改事实的边界?
再说一件事情。
2月初,字节跳动推出了新的数字人方案OmniHuman。
该模型能够通过一张图片配合音频或视频,生成非常自然的会说话、唱歌的人类动作视频。在生成动画时能够保持极高的真实感,能够精确捕捉到人类的面部表情、身体动作、手势变化、物体交互等细节。
技术进步十分喜人,但如果使用的人有别的心思呢?
科普作家@河森堡 提出了一个假想,让人“细思极恐”:
如果有人为了贩卖自己的伪造文物,事先用知名专家的形象、声音讲述伪造的历史,用AI生成虚假文献、照片,然后散播到互联网大海中,发酵一段时间,会发生什么?
当你看到熟悉的专家在讲述一段陌生的历史,查证后发现网上竟然还有不少文献图文资料,是不是会觉得这就是真实的?日后看到伪造的文物,是不是就会认为是真文物?
再讲个故事。2022年,中文维基百科发现了 “历史相关条目伪造事件”,十多年里,用户折毛在维基里虚构了半部俄罗斯古代史:
一位奇幻作家作者在为小说查资料时,发现中文维基里的古俄罗斯史不对劲。著名的“卡申银矿”,居然在地方都没有记载,更诡异的是,1334年开采的银矿,参考资料居然是2005年关于自动化采矿的一篇论文。
但更离谱的还在后面。词条编辑者“折毛”十多年来居然“孜孜不倦”地创建了至少206个条目,编辑了4,800次,凭一己之力虚构了半部俄罗斯古代史,还被英语等外语词条参考。在一场虚构战役的词条里,折毛引用了100多条参考文献,甚至还亲自绘制了一幅局势图。
时至今日,维基百科都不敢保证删干净了这些虚假信息。
在没有AI的时代,虚假信息和幻觉都能有这样的破坏力。如今, AI幻觉的破坏力只增不减。
@河森堡 在微博中感慨:“如今AI制造的幻觉在强度上,和之前编点文字故事时不可同日而语,除非你亲自见到专家本人求证,或者到现场实地考察,否则你会被AI创造出的假象玩得死死的。”
可是,回归现实生活,又有谁有精力验证AI给出的每一个答案呢?
孩子们使用AI要“胆大心细”
以上种种,其实是对思辨能力提出了更高要求。
当孩子们越来越依赖通过AI来获取信息时,而 不学习、不思考、不查证,终有一天,孩子们的生活会被AI搞得“乌烟瘴气”。
但要家长独自应对、承受AI幻觉的压力,这担子又太重了。随着AI课程进入更多课堂,我们或许可以从学校、教育者等更广的维度去借鉴他山之石。
那我们能做什么?能怎么教孩子去面对AI幻觉?
外滩君总结为四个字——胆大心细。
那AI还用不用?
当然要用。二十多年前,电脑还是微机教室里娇贵的教具,如今,电脑早就成了许多工作的标配,手机甚至都快赶上半个电脑了。 AI如今势不可挡,肯定不能因噎废食。
亚马逊云科技上海人工智能研究院张峥院长就曾在演讲中说;“要放开了让他们用。我们的目标是 通过AI显著提升学校效果,实现2到10倍的提升。”
但怎么用?要注意什么?
首先,推动思考,而不是替代思考。
在美国不少学校,学生使用的AI都是定制化的,老师们事先为AI设置了很多提示词(prompts)。
AI不仅能够启发学生,反向学生提出一系列值得思考的问题,来会提示学生“AI幻觉的存在”,推动孩子们主动去思考、推理、辨别。而不是坐享其成,拿现成答案。
而且, 在推动学生思考的同时,老师们也通过AI的帮助提高了自己的辅导、出卷效率,整个教学的效率都提上来了。
其次,要学会大胆地质疑AI提供的内容。
当然,在这个过程中,每个人都需要搭建个人知识库。虽然孩子们不能成为每个领域的专家,但如果孩子们可以在一个或几个领域深耕,构建起自己的知识库,那么这本身就会成为辨别虚假信息的装备库。
此外,保持好奇心,甚至可以利用AI幻觉来激发创新、想象力。
在事实性方面“已读乱回”,是一种干扰,但如果是需要摆脱束缚的领域呢?
外滩君发现石溪大学做了一个特别有意思的项目:
博士生Ryan Burgert、Kanchana Ranasinghe 和 Xiang Li与石溪大学人工智能研究所的 SUNY Empire 创新副教授 Michael Ryoo 教授一起,利用AI幻觉创作了很多视觉错觉图。
除了好玩的图片、拼图,这也可以用来隐藏字符等信息,感觉还能开发不少用途。
AI是一个强大的助手,但如果孩子把AI当拐杖,想利用AI来偷懒,那么AI幻觉就像是一种警示和小惩罚。
但如果我们把AI的已读乱回看作一个机会呢?让孩子们知道,不能因为有了这样一个看似无所不能的 “小助手”,就放弃主动思考。只有不断打磨独立思考的能力,勇于探索未知,才能在这个充满变数的世界中,稳稳走好每一步。