新聞中心首頁
新華社北京9月16日電 題:聳人聽聞背后的生意經(jīng)——揭開AI造謠利益鏈
新華社“新華視點”記者印朋、蘭天鳴、魯暢
不久前,某公眾號運營者鐘某為蹭“海嘯預警”熱點,利用AI生成“30萬居民撤離上!薄皵(shù)十萬上海市民正排隊登車”等聳人聽聞的言論。這條假消息被大量閱讀、轉發(fā),引發(fā)恐慌情緒。其后,鐘某被警方拘留。
AI的廣泛應用,為虛假信息的批量生產(chǎn)和病毒式傳播提供了“溫床”,給社會治理帶來挑戰(zhàn)。
9月15日,《人工智能安全治理框架》2.0版正式發(fā)布。中央網(wǎng)信辦負責人表示,要強化規(guī)范引導,不斷完善人工智能安全監(jiān)管制度和標準規(guī)范體系,促進人工智能健康有序發(fā)展。
利用AI造謠日漸頻繁
今年3月,福建廈門公安機關發(fā)現(xiàn),網(wǎng)上有信息稱:“2025年3月3日,廈門市某化工廠發(fā)生一起嚴重的閃爆事故,造成3人死亡、3人受傷……”公安機關調(diào)查發(fā)現(xiàn),這是發(fā)布者許某通過網(wǎng)上AI助手軟件生成的虛假文章。公安機關對許某予以行政處罰。
人工智能時代,利用AI造謠日漸頻繁。公安部曾發(fā)布多起典型案例。如,湖南公安機關查處編造“民警離職潮”謠言案,江西公安機關查處MCN機構使用人工智能工具造謠案,重慶公安機關查處使用人工智能工具編造“爆炸事故”謠言案,廣東公安機關查處編造“廣州限制外賣配送”謠言案。相關人員均被繩之以法。
清華大學新聞與傳播學院新媒體研究中心2024年發(fā)布的《揭秘AI謠言:傳播路徑與治理策略全解析》研究報告指出,2023年以來,伴隨AIGC技術的高速發(fā)展,一些造謠者不當利用AI工具,使得AI謠言量高速增長。
報告指出,在各類AI謠言信息量占比中,經(jīng)濟與企業(yè)類謠言和公共安全類謠言占比最多、增速最快,其中餐飲外賣、快遞配送等民生行業(yè)成為謠言重災區(qū)。
記者調(diào)查發(fā)現(xiàn),人工智能技術讓網(wǎng)絡謠言內(nèi)容更為逼真,常配有偽造的圖片、視頻甚至所謂“官方回應”,極具迷惑性。
中國(深圳)綜合開發(fā)研究院院長助理、數(shù)字經(jīng)濟與全球戰(zhàn)略研究所所長曹鐘雄等業(yè)內(nèi)人士認為,AI不僅能高效生成虛假信息,而且可以通過過濾、推薦機制,將虛假信息聚合形成“證據(jù)鏈”,給普通用戶乃至專業(yè)人士造成誤導。
流量變現(xiàn)驅動商業(yè)化黑產(chǎn)
不久前,某著名食品公司向安徽省合肥市公安局經(jīng)開分局報案稱,多個網(wǎng)絡平臺上集中出現(xiàn)大量虛假、帶有誘導性的負面文章,惡意攻擊公司品牌及產(chǎn)品品質。公安機關立案調(diào)查,民警在多個平臺發(fā)現(xiàn)關于該品牌“二氧化硫殘留”“霉變”等內(nèi)容的文章200余篇,且內(nèi)容高度雷同。
經(jīng)公安機關核實,上述內(nèi)容均為虛假信息。信息發(fā)布者陳某被行政拘留。陳某交代,今年8月,他在網(wǎng)上看到該公司相關信息后,想到知名企業(yè)涉及食品安全問題,容易引發(fā)公眾關注。為博取流量,他使用AI工具編造內(nèi)容,生成多篇虛假負面文章,在多個平臺集中發(fā)布。
業(yè)內(nèi)專家指出,傳統(tǒng)謠言生產(chǎn)依賴造謠者人工操作。如今,造謠者使用AI工具,只要輸入特定關鍵詞或指令,便可快速生成內(nèi)容逼真、欺騙性強的謠言,從而實現(xiàn)謠言的大規(guī)模、高效率生產(chǎn)。
去年3月,江西公安機關查處一起MCN機構使用人工智能工具造謠案。經(jīng)查,王某某經(jīng)營有5家MCN機構,共運營自媒體賬號842個,長期組織公司人員選取熱點文章,使用AI工具批量生成不實文章進行吸粉引流。
“他平均每天通過AI工具發(fā)布4000到7000條信息,最高的一條收入是700元。經(jīng)初步估算,每天收入在1萬元以上!鞭k案民警說。
記者發(fā)現(xiàn),多起AI造謠事件背后,不法者的造謠動機主要源于牟取互聯(lián)網(wǎng)內(nèi)容平臺給予創(chuàng)作者的獎勵,以及為電商平臺經(jīng)營引流等;一些造謠者還可以從廣告收入、合同推廣、直播帶貨或其他相關的商業(yè)活動中獲益!
一名長期從事自媒體工作的博主對記者說:“以某大型內(nèi)容生產(chǎn)平臺為例,收益計算公式可以簡化為‘有效播放量×互動系數(shù)×千次播放單價’。平臺會對點擊量高、互動性強的原創(chuàng)性內(nèi)容給予更多收益分成。如果整體權重較高,一篇閱讀或播放100萬次的稿件,收益可超過1000元!
此外,不正當商業(yè)競爭也進一步催生了AI謠言黑色產(chǎn)業(yè)鏈。一位頭部消費電子企業(yè)法務相關負責人透露,“金主”企業(yè)放出任務信號后,公關公司會找來一批自媒體運營者、KOL(關鍵意見領袖),利用AI技術生成虛假信息,大批量、高頻次在社交媒體、網(wǎng)絡平臺等釋放抹黑競爭對手的內(nèi)容;此后還有營銷公司及流量商加入,進一步擴散傳播謠言。
造謠一張嘴,辟謠跑斷腿。不少受訪企業(yè)表示,辟謠工作給公司帶來了繁重的負擔,需要耗費大量人力、精力去做解釋工作,以消除不利影響。
中國政法大學刑事司法學院教授于沖等法律專家指出,目前AI造謠已經(jīng)形成商業(yè)化運作黑色產(chǎn)業(yè)鏈,一些造謠者以吸引流量變現(xiàn)牟取經(jīng)濟利益為目的。相關行業(yè)企業(yè)在應對AI謠言中面臨維權難、輿論修復難等挑戰(zhàn)。
全鏈條治理封住AI“黑嘴”
近期,公安部組織全國公安機關持續(xù)開展打擊整治網(wǎng)絡謠言工作,及時發(fā)現(xiàn)查處借熱點輿情事件進行造謠傳謠線索,重拳打擊編造傳播涉企業(yè)、涉民生、涉警情等領域網(wǎng)絡謠言違法犯罪活動!
今年7月,中央網(wǎng)信辦在全國范圍內(nèi)啟動為期2個月的“清朗·整治‘自媒體’發(fā)布不實信息”專項行動,重點整治的突出問題包括“利用人工智能生成合成技術,仿冒他人,或編造社會民生等領域虛假信息,欺騙公眾”。
面對AI謠言治理中的取證難、定性難、追責難等問題,單一治理手段已力有不逮。多位受訪業(yè)內(nèi)人士建議,遏制“AI謠言”需要多方協(xié)同發(fā)力,構建全鏈條治理體系。
中國社會科學院大學互聯(lián)網(wǎng)法治研究中心執(zhí)行主任劉曉春說,新媒體平臺應加強對AI造謠和“水軍”行為的智能識別機制研究,進一步改革涉及AI內(nèi)容的流量分發(fā)和收益分成機制,最大限度壓縮通過AI造謠牟利的空間。
專家指出,平臺可通過逆向傳播,利用相同渠道傳播準確信息,抵消謠言影響;鼓勵用戶積極舉報可疑內(nèi)容,通過設立獎勵機制增加參與度;持續(xù)研究謠言生成和傳播機制,開發(fā)有效監(jiān)測和防治技術等。
于沖等建議,司法治理也需要“鏈條化”思維,針對AI造謠鏈條的前端發(fā)布主體、中端采取的技術手段和末端的后果危害,分別進行評價和判斷,進行全鏈條打擊和預防。
最高人民法院研究室副主任喻海松等表示,治理涉企AI謠言,僅僅依靠刑法是不夠的,要進一步修復社會信任機制,營造自覺抵制謠言的良好環(huán)境,同時鼓勵AI治理合作,進一步推廣AI倫理標準、治理技術和創(chuàng)新國際合作模式。
上海市律師協(xié)會理事、上海博和漢商律師事務所執(zhí)行主任王思維說,人工智能目前仍僅是一種技術手段,而非可承擔法律責任的獨立主體。對AI技術濫用行為的治理,應當堅持防懲并重原則,在確?萍紕(chuàng)新積極性、AI技術合法合規(guī)使用的情況下,避免過度監(jiān)管。
受訪律師提示,無論是個人還是企業(yè),都應該自覺遵守相關法律法規(guī),正確使用AI工具,不造謠、不傳謠。一旦利用AI造謠或從事其他違法犯罪活動,將受到法律的嚴懲。
![]() |
![]() |
![]() |
![]() |
焦作網(wǎng)免責聲明: | |||||||
|
新華社北京9月16日電 題:聳人聽聞背后的生意經(jīng)——揭開AI造謠利益鏈
新華社“新華視點”記者印朋、蘭天鳴、魯暢
不久前,某公眾號運營者鐘某為蹭“海嘯預警”熱點,利用AI生成“30萬居民撤離上!薄皵(shù)十萬上海市民正排隊登車”等聳人聽聞的言論。這條假消息被大量閱讀、轉發(fā),引發(fā)恐慌情緒。其后,鐘某被警方拘留。
AI的廣泛應用,為虛假信息的批量生產(chǎn)和病毒式傳播提供了“溫床”,給社會治理帶來挑戰(zhàn)。
9月15日,《人工智能安全治理框架》2.0版正式發(fā)布。中央網(wǎng)信辦負責人表示,要強化規(guī)范引導,不斷完善人工智能安全監(jiān)管制度和標準規(guī)范體系,促進人工智能健康有序發(fā)展。
利用AI造謠日漸頻繁
今年3月,福建廈門公安機關發(fā)現(xiàn),網(wǎng)上有信息稱:“2025年3月3日,廈門市某化工廠發(fā)生一起嚴重的閃爆事故,造成3人死亡、3人受傷……”公安機關調(diào)查發(fā)現(xiàn),這是發(fā)布者許某通過網(wǎng)上AI助手軟件生成的虛假文章。公安機關對許某予以行政處罰。
人工智能時代,利用AI造謠日漸頻繁。公安部曾發(fā)布多起典型案例。如,湖南公安機關查處編造“民警離職潮”謠言案,江西公安機關查處MCN機構使用人工智能工具造謠案,重慶公安機關查處使用人工智能工具編造“爆炸事故”謠言案,廣東公安機關查處編造“廣州限制外賣配送”謠言案。相關人員均被繩之以法。
清華大學新聞與傳播學院新媒體研究中心2024年發(fā)布的《揭秘AI謠言:傳播路徑與治理策略全解析》研究報告指出,2023年以來,伴隨AIGC技術的高速發(fā)展,一些造謠者不當利用AI工具,使得AI謠言量高速增長。
報告指出,在各類AI謠言信息量占比中,經(jīng)濟與企業(yè)類謠言和公共安全類謠言占比最多、增速最快,其中餐飲外賣、快遞配送等民生行業(yè)成為謠言重災區(qū)。
記者調(diào)查發(fā)現(xiàn),人工智能技術讓網(wǎng)絡謠言內(nèi)容更為逼真,常配有偽造的圖片、視頻甚至所謂“官方回應”,極具迷惑性。
中國(深圳)綜合開發(fā)研究院院長助理、數(shù)字經(jīng)濟與全球戰(zhàn)略研究所所長曹鐘雄等業(yè)內(nèi)人士認為,AI不僅能高效生成虛假信息,而且可以通過過濾、推薦機制,將虛假信息聚合形成“證據(jù)鏈”,給普通用戶乃至專業(yè)人士造成誤導。
流量變現(xiàn)驅動商業(yè)化黑產(chǎn)
不久前,某著名食品公司向安徽省合肥市公安局經(jīng)開分局報案稱,多個網(wǎng)絡平臺上集中出現(xiàn)大量虛假、帶有誘導性的負面文章,惡意攻擊公司品牌及產(chǎn)品品質。公安機關立案調(diào)查,民警在多個平臺發(fā)現(xiàn)關于該品牌“二氧化硫殘留”“霉變”等內(nèi)容的文章200余篇,且內(nèi)容高度雷同。
經(jīng)公安機關核實,上述內(nèi)容均為虛假信息。信息發(fā)布者陳某被行政拘留。陳某交代,今年8月,他在網(wǎng)上看到該公司相關信息后,想到知名企業(yè)涉及食品安全問題,容易引發(fā)公眾關注。為博取流量,他使用AI工具編造內(nèi)容,生成多篇虛假負面文章,在多個平臺集中發(fā)布。
業(yè)內(nèi)專家指出,傳統(tǒng)謠言生產(chǎn)依賴造謠者人工操作。如今,造謠者使用AI工具,只要輸入特定關鍵詞或指令,便可快速生成內(nèi)容逼真、欺騙性強的謠言,從而實現(xiàn)謠言的大規(guī)模、高效率生產(chǎn)。
去年3月,江西公安機關查處一起MCN機構使用人工智能工具造謠案。經(jīng)查,王某某經(jīng)營有5家MCN機構,共運營自媒體賬號842個,長期組織公司人員選取熱點文章,使用AI工具批量生成不實文章進行吸粉引流。
“他平均每天通過AI工具發(fā)布4000到7000條信息,最高的一條收入是700元。經(jīng)初步估算,每天收入在1萬元以上!鞭k案民警說。
記者發(fā)現(xiàn),多起AI造謠事件背后,不法者的造謠動機主要源于牟取互聯(lián)網(wǎng)內(nèi)容平臺給予創(chuàng)作者的獎勵,以及為電商平臺經(jīng)營引流等;一些造謠者還可以從廣告收入、合同推廣、直播帶貨或其他相關的商業(yè)活動中獲益!
一名長期從事自媒體工作的博主對記者說:“以某大型內(nèi)容生產(chǎn)平臺為例,收益計算公式可以簡化為‘有效播放量×互動系數(shù)×千次播放單價’。平臺會對點擊量高、互動性強的原創(chuàng)性內(nèi)容給予更多收益分成。如果整體權重較高,一篇閱讀或播放100萬次的稿件,收益可超過1000元!
此外,不正當商業(yè)競爭也進一步催生了AI謠言黑色產(chǎn)業(yè)鏈。一位頭部消費電子企業(yè)法務相關負責人透露,“金主”企業(yè)放出任務信號后,公關公司會找來一批自媒體運營者、KOL(關鍵意見領袖),利用AI技術生成虛假信息,大批量、高頻次在社交媒體、網(wǎng)絡平臺等釋放抹黑競爭對手的內(nèi)容;此后還有營銷公司及流量商加入,進一步擴散傳播謠言!
造謠一張嘴,辟謠跑斷腿。不少受訪企業(yè)表示,辟謠工作給公司帶來了繁重的負擔,需要耗費大量人力、精力去做解釋工作,以消除不利影響。
中國政法大學刑事司法學院教授于沖等法律專家指出,目前AI造謠已經(jīng)形成商業(yè)化運作黑色產(chǎn)業(yè)鏈,一些造謠者以吸引流量變現(xiàn)牟取經(jīng)濟利益為目的。相關行業(yè)企業(yè)在應對AI謠言中面臨維權難、輿論修復難等挑戰(zhàn)。
全鏈條治理封住AI“黑嘴”
近期,公安部組織全國公安機關持續(xù)開展打擊整治網(wǎng)絡謠言工作,及時發(fā)現(xiàn)查處借熱點輿情事件進行造謠傳謠線索,重拳打擊編造傳播涉企業(yè)、涉民生、涉警情等領域網(wǎng)絡謠言違法犯罪活動!
今年7月,中央網(wǎng)信辦在全國范圍內(nèi)啟動為期2個月的“清朗·整治‘自媒體’發(fā)布不實信息”專項行動,重點整治的突出問題包括“利用人工智能生成合成技術,仿冒他人,或編造社會民生等領域虛假信息,欺騙公眾”。
面對AI謠言治理中的取證難、定性難、追責難等問題,單一治理手段已力有不逮。多位受訪業(yè)內(nèi)人士建議,遏制“AI謠言”需要多方協(xié)同發(fā)力,構建全鏈條治理體系。
中國社會科學院大學互聯(lián)網(wǎng)法治研究中心執(zhí)行主任劉曉春說,新媒體平臺應加強對AI造謠和“水軍”行為的智能識別機制研究,進一步改革涉及AI內(nèi)容的流量分發(fā)和收益分成機制,最大限度壓縮通過AI造謠牟利的空間。
專家指出,平臺可通過逆向傳播,利用相同渠道傳播準確信息,抵消謠言影響;鼓勵用戶積極舉報可疑內(nèi)容,通過設立獎勵機制增加參與度;持續(xù)研究謠言生成和傳播機制,開發(fā)有效監(jiān)測和防治技術等。
于沖等建議,司法治理也需要“鏈條化”思維,針對AI造謠鏈條的前端發(fā)布主體、中端采取的技術手段和末端的后果危害,分別進行評價和判斷,進行全鏈條打擊和預防。
最高人民法院研究室副主任喻海松等表示,治理涉企AI謠言,僅僅依靠刑法是不夠的,要進一步修復社會信任機制,營造自覺抵制謠言的良好環(huán)境,同時鼓勵AI治理合作,進一步推廣AI倫理標準、治理技術和創(chuàng)新國際合作模式。
上海市律師協(xié)會理事、上海博和漢商律師事務所執(zhí)行主任王思維說,人工智能目前仍僅是一種技術手段,而非可承擔法律責任的獨立主體。對AI技術濫用行為的治理,應當堅持防懲并重原則,在確?萍紕(chuàng)新積極性、AI技術合法合規(guī)使用的情況下,避免過度監(jiān)管。
受訪律師提示,無論是個人還是企業(yè),都應該自覺遵守相關法律法規(guī),正確使用AI工具,不造謠、不傳謠。一旦利用AI造謠或從事其他違法犯罪活動,將受到法律的嚴懲。
![]() |
|
![]() |
焦作網(wǎng)免責聲明: | |||||||
|
|
|