當(dāng)AI“一本正經(jīng)胡說(shuō)八道”……
更新時(shí)間：2025/9/28 9:31:26 來(lái)源：新華社CNML文字
 |
| 您現(xiàn)在的位置： 焦作網(wǎng) > 新聞中心首頁(yè) > 國(guó)內(nèi)新聞 > 正文 |
 |
新媒體 | |||||||||||
|
||||||||||||
新聞中心首頁(yè)
新華社廣州9月24日電 題：當(dāng)AI“一本正經(jīng)胡說(shuō)八道”……
新華社“新華視點(diǎn)”記者顏之宏、胡林果
當(dāng)前，AI正賦能千行百業(yè)，為人們的工作、學(xué)習(xí)、生活帶來(lái)極大便利。與此同時(shí)，不少人發(fā)現(xiàn)，用AI搜索數(shù)據(jù)，給出的內(nèi)容查無(wú)實(shí)據(jù)；用AI輔助診療，出現(xiàn)誤判干擾正常治療……AI頻頻上演“一本正經(jīng)胡說(shuō)八道”。社交平臺(tái)上，AI幻覺(jué)引發(fā)熱議。
AI好用但不時(shí)像是“中邪”了
用AI檢索海量信息、讓AI輔助查看三維病灶、打造AI互動(dòng)課堂……如今，AI已深度融入現(xiàn)代生活，“人工智能+”產(chǎn)品賦能各行各業(yè)，從多個(gè)維度提供便利。
作為AI深度使用者，“95后”女生瑞希坦言，AI好用，但不時(shí)像“中邪”了一樣胡說(shuō)八道�！拔易孉I推薦10本高分小說(shuō)，結(jié)果一多半都是它編的。反復(fù)確認(rèn)后，它承認(rèn)虛構(gòu)了答案�！�
現(xiàn)實(shí)生活中，不少人遇到相似情況。業(yè)內(nèi)人士表示，這是由于AI幻覺(jué)導(dǎo)致�！癆I可以快速給出答案，但生成內(nèi)容可能與可驗(yàn)證事實(shí)不符，即憑空捏造；或生成內(nèi)容與上下文缺乏關(guān)聯(lián)，即‘答非所問(wèn)’�！币幻髁魅斯ぶ悄軓S商技術(shù)人員說(shuō)。
記者使用一款A(yù)I軟件，讓其給出某行業(yè)未來(lái)市場(chǎng)規(guī)模及信源，AI迅速回答稱(chēng)某投資機(jī)構(gòu)預(yù)測(cè)2028年該行業(yè)的市場(chǎng)規(guī)模將達(dá)到5萬(wàn)億美元，并提供相關(guān)鏈接，但鏈接頁(yè)面找不到上述信息。記者看到，頁(yè)面內(nèi)容雖然包含該投資機(jī)構(gòu)名稱(chēng)和5萬(wàn)億美元表述，但預(yù)測(cè)數(shù)據(jù)并非該機(jī)構(gòu)作出，且不存在2028年時(shí)間節(jié)點(diǎn)。
社交平臺(tái)上，AI幻覺(jué)相關(guān)話題瀏覽量達(dá)數(shù)百萬(wàn)，網(wǎng)友吐槽涉及金融、法律、醫(yī)療、學(xué)術(shù)等多個(gè)領(lǐng)域。
第三方咨詢(xún)公司麥可思研究院近期發(fā)布的2025年高校師生AI應(yīng)用及素養(yǎng)研究顯示，四千余名受訪高校師生中，近八成遇到過(guò)AI幻覺(jué)。今年2月，清華大學(xué)新媒沈陽(yáng)團(tuán)隊(duì)發(fā)布的報(bào)告指出，市場(chǎng)上多個(gè)熱門(mén)大模型在事實(shí)性幻覺(jué)評(píng)測(cè)中幻覺(jué)率超過(guò)19%。
AI幻覺(jué)已經(jīng)影響了人們的生活與工作。
近期，一名國(guó)外男子被診斷出溴中毒。他此前詢(xún)問(wèn)AI，過(guò)量食用食鹽不利于身體健康，有無(wú)食鹽替代品，AI回答稱(chēng)可以用溴化鈉代替。但溴化鈉存在一定毒性，需要嚴(yán)格遵醫(yī)囑服用。該男子用溴化鈉代替食鹽三個(gè)月后出現(xiàn)精神錯(cuò)亂等癥狀。
這幾年，美國(guó)多起案件中的律師因在法律文件中使用AI生成的虛假信息，被法院警告或處分。
AI幻覺(jué)為什么會(huì)發(fā)生？
受訪專(zhuān)家認(rèn)為，AI幻覺(jué)的背后存在多重因素。
——數(shù)據(jù)污染。AI“養(yǎng)成”過(guò)程中，數(shù)據(jù)“投喂”是關(guān)鍵環(huán)節(jié)。研究顯示，當(dāng)訓(xùn)練數(shù)據(jù)中僅有0.01%的虛假文本時(shí)，模型輸出的有害內(nèi)容會(huì)增加11.2%；即使是0.001%的虛假文本，其有害輸出也會(huì)相應(yīng)上升7.2%。
奇安信集團(tuán)行業(yè)安全研究中心主任裴智勇解釋說(shuō)，人工智能大模型需要海量數(shù)據(jù)，訓(xùn)練數(shù)據(jù)來(lái)自開(kāi)源網(wǎng)絡(luò)，難免會(huì)錯(cuò)誤學(xué)習(xí)一些虛假、謬誤數(shù)據(jù)，還有一些不法分子會(huì)惡意進(jìn)行“數(shù)據(jù)投毒”。
“如果把AI比作一個(gè)學(xué)生，數(shù)據(jù)污染就像是給學(xué)生看了錯(cuò)誤的教科書(shū)，自然會(huì)導(dǎo)致‘胡說(shuō)八道’�！濒吣洗髮W(xué)網(wǎng)絡(luò)空間安全學(xué)院教授翁健說(shuō)。
——AI本身“認(rèn)知邊界模糊”。翁健認(rèn)為，人類(lèi)智能的一個(gè)重要特征是“元認(rèn)知”能力——知道自己懂什么、不懂什么，而當(dāng)前AI技術(shù)架構(gòu)缺乏這種自我認(rèn)知機(jī)制。
翁健解釋稱(chēng)，AI可以博覽群書(shū)，但并不一定理解書(shū)里的內(nèi)容，只是根據(jù)統(tǒng)計(jì)規(guī)律把最有可能的詞語(yǔ)組合在一起，在準(zhǔn)確評(píng)估自身輸出的可信度方面尚存盲點(diǎn)。
——人為調(diào)校和干預(yù)。在中國(guó)通信學(xué)會(huì)數(shù)據(jù)安全專(zhuān)業(yè)委員會(huì)副主任委員左曉棟看來(lái)，相較于事實(shí)真相，AI更在意自己的回答是否契合用戶需求，從而導(dǎo)致AI有時(shí)為了“討好”用戶而編造答案。
“針對(duì)不同需求，AI的訓(xùn)練、打分方式也不同�！币晃粡氖麓竽Ｐ陀�(xùn)練的技術(shù)人員說(shuō)，當(dāng)面對(duì)寫(xiě)作等創(chuàng)意性需求時(shí)，偏理性的事實(shí)嚴(yán)謹(jǐn)在打分系統(tǒng)中占比相對(duì)較低，偏感性的詞語(yǔ)優(yōu)美、富有感情色彩等占比更高�！八钥赡軙�(huì)出現(xiàn)一篇辭藻華麗但詞不達(dá)意的文章，里面內(nèi)容甚至與事實(shí)相悖�！�
多方合力減少AI幻覺(jué)
第55次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至去年12月，有2.49億人使用過(guò)生成式人工智能產(chǎn)品，占整體人口的17.7%。受訪專(zhuān)家表示，應(yīng)通過(guò)多方合力應(yīng)對(duì)AI幻覺(jué)帶來(lái)的風(fēng)險(xiǎn)挑戰(zhàn)。
今年4月，中央網(wǎng)信辦印發(fā)通知，在全國(guó)范圍內(nèi)部署開(kāi)展“清朗·整治AI技術(shù)濫用”專(zhuān)項(xiàng)行動(dòng)，訓(xùn)練語(yǔ)料管理不嚴(yán)、未落實(shí)內(nèi)容標(biāo)識(shí)要求、利用AI制作發(fā)布謠言等均為整治重點(diǎn)。
“可靠、可信、高質(zhì)量的數(shù)據(jù)對(duì)降低AI幻覺(jué)非常重要，應(yīng)優(yōu)化人工智能的訓(xùn)練語(yǔ)料，用‘好數(shù)據(jù)’生成‘優(yōu)質(zhì)內(nèi)容’�！弊髸詶澱J(rèn)為，可以加快推動(dòng)線下數(shù)據(jù)電子化，增加“投喂”的數(shù)據(jù)量；同時(shí)探索建立具有權(quán)威性的公共數(shù)據(jù)共享平臺(tái)，“各大廠商也應(yīng)加強(qiáng)優(yōu)質(zhì)數(shù)據(jù)篩選，提升訓(xùn)練準(zhǔn)確性”。
多家主流人工智能廠商已經(jīng)采取措施，從技術(shù)層面減少AI幻覺(jué)發(fā)生。
豆包升級(jí)深度思考功能，由先搜后想變?yōu)檫呄脒吽�，思考過(guò)程中可以基于推理多次調(diào)用工具、搜索信息，回復(fù)質(zhì)量明顯提升；通義千問(wèn)在20多個(gè)通用任務(wù)上應(yīng)用強(qiáng)化學(xué)習(xí)，增強(qiáng)通用能力的同時(shí)糾正不良行為；元寶持續(xù)擴(kuò)充引入各領(lǐng)域的權(quán)威信源，在回答時(shí)交叉校驗(yàn)相關(guān)信息，提高生成內(nèi)容的可靠性。
翁健建議，建立國(guó)家級(jí)人工智能安全評(píng)測(cè)平臺(tái)，就像生物醫(yī)藥新藥上市前要做臨床試驗(yàn)一樣，大模型也應(yīng)該經(jīng)過(guò)嚴(yán)格測(cè)試；同時(shí)，相關(guān)平臺(tái)加強(qiáng)AI生成內(nèi)容審核，提升檢測(cè)鑒偽能力。
“AI可能‘欺騙’用戶，公眾應(yīng)客觀認(rèn)識(shí)人工智能的局限性�！弊髸詶澋葘�(zhuān)家提示，可以通過(guò)改進(jìn)使用方式，如給出更加明確的提示詞、限定范圍等避免AI幻覺(jué)�！盁o(wú)論是工作、學(xué)習(xí)還是生活，現(xiàn)階段的人工智能還不能全面替代人類(lèi)的認(rèn)知和創(chuàng)造能力，大家在使用AI時(shí)要保持懷疑態(tài)度和批判思維，不過(guò)度依賴(lài)AI給出的回答，多渠道驗(yàn)證核查�！�
 |
 |
 |
|
||||
|
焦作網(wǎng)免責(zé)聲明： | |||||||
|
||||||||
新華社廣州9月24日電 題：當(dāng)AI“一本正經(jīng)胡說(shuō)八道”……
新華社“新華視點(diǎn)”記者顏之宏、胡林果
當(dāng)前，AI正賦能千行百業(yè)，為人們的工作、學(xué)習(xí)、生活帶來(lái)極大便利。與此同時(shí)，不少人發(fā)現(xiàn)，用AI搜索數(shù)據(jù)，給出的內(nèi)容查無(wú)實(shí)據(jù)；用AI輔助診療，出現(xiàn)誤判干擾正常治療……AI頻頻上演“一本正經(jīng)胡說(shuō)八道”。社交平臺(tái)上，AI幻覺(jué)引發(fā)熱議。
AI好用但不時(shí)像是“中邪”了
用AI檢索海量信息、讓AI輔助查看三維病灶、打造AI互動(dòng)課堂……如今，AI已深度融入現(xiàn)代生活，“人工智能+”產(chǎn)品賦能各行各業(yè)，從多個(gè)維度提供便利。
作為AI深度使用者，“95后”女生瑞希坦言，AI好用，但不時(shí)像“中邪”了一樣胡說(shuō)八道�！拔易孉I推薦10本高分小說(shuō)，結(jié)果一多半都是它編的。反復(fù)確認(rèn)后，它承認(rèn)虛構(gòu)了答案�！�
現(xiàn)實(shí)生活中，不少人遇到相似情況。業(yè)內(nèi)人士表示，這是由于AI幻覺(jué)導(dǎo)致�！癆I可以快速給出答案，但生成內(nèi)容可能與可驗(yàn)證事實(shí)不符，即憑空捏造；或生成內(nèi)容與上下文缺乏關(guān)聯(lián)，即‘答非所問(wèn)’�！币幻髁魅斯ぶ悄軓S商技術(shù)人員說(shuō)。
記者使用一款A(yù)I軟件，讓其給出某行業(yè)未來(lái)市場(chǎng)規(guī)模及信源，AI迅速回答稱(chēng)某投資機(jī)構(gòu)預(yù)測(cè)2028年該行業(yè)的市場(chǎng)規(guī)模將達(dá)到5萬(wàn)億美元，并提供相關(guān)鏈接，但鏈接頁(yè)面找不到上述信息。記者看到，頁(yè)面內(nèi)容雖然包含該投資機(jī)構(gòu)名稱(chēng)和5萬(wàn)億美元表述，但預(yù)測(cè)數(shù)據(jù)并非該機(jī)構(gòu)作出，且不存在2028年時(shí)間節(jié)點(diǎn)。
社交平臺(tái)上，AI幻覺(jué)相關(guān)話題瀏覽量達(dá)數(shù)百萬(wàn)，網(wǎng)友吐槽涉及金融、法律、醫(yī)療、學(xué)術(shù)等多個(gè)領(lǐng)域。
第三方咨詢(xún)公司麥可思研究院近期發(fā)布的2025年高校師生AI應(yīng)用及素養(yǎng)研究顯示，四千余名受訪高校師生中，近八成遇到過(guò)AI幻覺(jué)。今年2月，清華大學(xué)新媒沈陽(yáng)團(tuán)隊(duì)發(fā)布的報(bào)告指出，市場(chǎng)上多個(gè)熱門(mén)大模型在事實(shí)性幻覺(jué)評(píng)測(cè)中幻覺(jué)率超過(guò)19%。
AI幻覺(jué)已經(jīng)影響了人們的生活與工作。
近期，一名國(guó)外男子被診斷出溴中毒。他此前詢(xún)問(wèn)AI，過(guò)量食用食鹽不利于身體健康，有無(wú)食鹽替代品，AI回答稱(chēng)可以用溴化鈉代替。但溴化鈉存在一定毒性，需要嚴(yán)格遵醫(yī)囑服用。該男子用溴化鈉代替食鹽三個(gè)月后出現(xiàn)精神錯(cuò)亂等癥狀。
這幾年，美國(guó)多起案件中的律師因在法律文件中使用AI生成的虛假信息，被法院警告或處分。
AI幻覺(jué)為什么會(huì)發(fā)生？
受訪專(zhuān)家認(rèn)為，AI幻覺(jué)的背后存在多重因素。
——數(shù)據(jù)污染。AI“養(yǎng)成”過(guò)程中，數(shù)據(jù)“投喂”是關(guān)鍵環(huán)節(jié)。研究顯示，當(dāng)訓(xùn)練數(shù)據(jù)中僅有0.01%的虛假文本時(shí)，模型輸出的有害內(nèi)容會(huì)增加11.2%；即使是0.001%的虛假文本，其有害輸出也會(huì)相應(yīng)上升7.2%。
奇安信集團(tuán)行業(yè)安全研究中心主任裴智勇解釋說(shuō)，人工智能大模型需要海量數(shù)據(jù)，訓(xùn)練數(shù)據(jù)來(lái)自開(kāi)源網(wǎng)絡(luò)，難免會(huì)錯(cuò)誤學(xué)習(xí)一些虛假、謬誤數(shù)據(jù)，還有一些不法分子會(huì)惡意進(jìn)行“數(shù)據(jù)投毒”。
“如果把AI比作一個(gè)學(xué)生，數(shù)據(jù)污染就像是給學(xué)生看了錯(cuò)誤的教科書(shū)，自然會(huì)導(dǎo)致‘胡說(shuō)八道’�！濒吣洗髮W(xué)網(wǎng)絡(luò)空間安全學(xué)院教授翁健說(shuō)。
——AI本身“認(rèn)知邊界模糊”。翁健認(rèn)為，人類(lèi)智能的一個(gè)重要特征是“元認(rèn)知”能力——知道自己懂什么、不懂什么，而當(dāng)前AI技術(shù)架構(gòu)缺乏這種自我認(rèn)知機(jī)制。
翁健解釋稱(chēng)，AI可以博覽群書(shū)，但并不一定理解書(shū)里的內(nèi)容，只是根據(jù)統(tǒng)計(jì)規(guī)律把最有可能的詞語(yǔ)組合在一起，在準(zhǔn)確評(píng)估自身輸出的可信度方面尚存盲點(diǎn)。
——人為調(diào)校和干預(yù)。在中國(guó)通信學(xué)會(huì)數(shù)據(jù)安全專(zhuān)業(yè)委員會(huì)副主任委員左曉棟看來(lái)，相較于事實(shí)真相，AI更在意自己的回答是否契合用戶需求，從而導(dǎo)致AI有時(shí)為了“討好”用戶而編造答案。
“針對(duì)不同需求，AI的訓(xùn)練、打分方式也不同。”一位從事大模型訓(xùn)練的技術(shù)人員說(shuō)，當(dāng)面對(duì)寫(xiě)作等創(chuàng)意性需求時(shí)，偏理性的事實(shí)嚴(yán)謹(jǐn)在打分系統(tǒng)中占比相對(duì)較低，偏感性的詞語(yǔ)優(yōu)美、富有感情色彩等占比更高�！八钥赡軙�(huì)出現(xiàn)一篇辭藻華麗但詞不達(dá)意的文章，里面內(nèi)容甚至與事實(shí)相悖。”
多方合力減少AI幻覺(jué)
第55次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至去年12月，有2.49億人使用過(guò)生成式人工智能產(chǎn)品，占整體人口的17.7%。受訪專(zhuān)家表示，應(yīng)通過(guò)多方合力應(yīng)對(duì)AI幻覺(jué)帶來(lái)的風(fēng)險(xiǎn)挑戰(zhàn)。
今年4月，中央網(wǎng)信辦印發(fā)通知，在全國(guó)范圍內(nèi)部署開(kāi)展“清朗·整治AI技術(shù)濫用”專(zhuān)項(xiàng)行動(dòng)，訓(xùn)練語(yǔ)料管理不嚴(yán)、未落實(shí)內(nèi)容標(biāo)識(shí)要求、利用AI制作發(fā)布謠言等均為整治重點(diǎn)。
“可靠、可信、高質(zhì)量的數(shù)據(jù)對(duì)降低AI幻覺(jué)非常重要，應(yīng)優(yōu)化人工智能的訓(xùn)練語(yǔ)料，用‘好數(shù)據(jù)’生成‘優(yōu)質(zhì)內(nèi)容’。”左曉棟認(rèn)為，可以加快推動(dòng)線下數(shù)據(jù)電子化，增加“投喂”的數(shù)據(jù)量；同時(shí)探索建立具有權(quán)威性的公共數(shù)據(jù)共享平臺(tái)，“各大廠商也應(yīng)加強(qiáng)優(yōu)質(zhì)數(shù)據(jù)篩選，提升訓(xùn)練準(zhǔn)確性”。
多家主流人工智能廠商已經(jīng)采取措施，從技術(shù)層面減少AI幻覺(jué)發(fā)生。
豆包升級(jí)深度思考功能，由先搜后想變?yōu)檫呄脒吽眩伎歼^(guò)程中可以基于推理多次調(diào)用工具、搜索信息，回復(fù)質(zhì)量明顯提升；通義千問(wèn)在20多個(gè)通用任務(wù)上應(yīng)用強(qiáng)化學(xué)習(xí)，增強(qiáng)通用能力的同時(shí)糾正不良行為；元寶持續(xù)擴(kuò)充引入各領(lǐng)域的權(quán)威信源，在回答時(shí)交叉校驗(yàn)相關(guān)信息，提高生成內(nèi)容的可靠性。
翁健建議，建立國(guó)家級(jí)人工智能安全評(píng)測(cè)平臺(tái)，就像生物醫(yī)藥新藥上市前要做臨床試驗(yàn)一樣，大模型也應(yīng)該經(jīng)過(guò)嚴(yán)格測(cè)試；同時(shí)，相關(guān)平臺(tái)加強(qiáng)AI生成內(nèi)容審核，提升檢測(cè)鑒偽能力。
“AI可能‘欺騙’用戶，公眾應(yīng)客觀認(rèn)識(shí)人工智能的局限性�！弊髸詶澋葘�(zhuān)家提示，可以通過(guò)改進(jìn)使用方式，如給出更加明確的提示詞、限定范圍等避免AI幻覺(jué)�！盁o(wú)論是工作、學(xué)習(xí)還是生活，現(xiàn)階段的人工智能還不能全面替代人類(lèi)的認(rèn)知和創(chuàng)造能力，大家在使用AI時(shí)要保持懷疑態(tài)度和批判思維，不過(guò)度依賴(lài)AI給出的回答，多渠道驗(yàn)證核查�！�
 |
|
||||
|
焦作網(wǎng)免責(zé)聲明： | |||||||
|
||||||||
|
|
