2025年初，人工智能的浪潮席卷而来，正在重塑社会面貌。众多地方的政务系统以及各行业的领军企业纷纷宣布采用这一技术，人工智能正迅速在全行业和日常生活中得到广泛应用。随着技术普及的脚步加快，治理方面的挑战也随之而来。面对大规模的网络攻击、疑似的数据泄露以及模型出现幻觉等问题，这些都指向了智能时代可能存在的风险。那么，人工智能的治理应该如何持续有效地推进呢？南都大数据研究院特别策划了“AI新治向”这一系列专题报道，旨在深入探讨人工智能治理领域的最新发展趋势。

本期内容，我们将对2024年国内人工智能领域的主要风险舆情案例进行梳理，并深入探讨人工智能谣言治理的有效途径。

一名孩子头顶着五颜六色的毛线帽，被困于废墟之中，四周散布着破碎的瓦片和石块。他稚气未脱的脸上沾满了灰尘，那双乌黑发亮的眼睛向上凝视，似乎在期盼着一线生机。

2025年伊始，西藏日喀则地区遭遇地震，一张图片激起了众多网友的同情。众多视频和图文信息被广泛传播，众多留言表达了对孩子安危的担忧。然而，直到1月8日，一条微博热搜词条“地震废墟中戴帽小孩图片系AI生成”引发关注，许多人这才意识到，自己曾被虚假新闻所骗，流下了不必要的泪水。

南都大数据研究院的数据显示，在2024年搜索热度较高的50个国内AI风险相关舆情案例里，超过五分之一都与AI造谣现象紧密相连。对此，专家们普遍认为，要想有效治理AI谣言，提升公众的AI素养显得尤为关键。

新治理难题：

AI造谣日趋频繁

实际上，自2024年11月起，这张在废墟中发现的儿童照片便在社交媒体上广为流传，而其制作者当时明确指出，该图像系人工智能所创作。

地震发生之后，该图像被众多自媒体广泛传播，然而，原本AI生成的注释却不见了踪影，同时加入了与日喀则地震相关的标签，以及诸如“愿震区的朋友们平安无恙”之类的文字。这种组合让观者误以为图像是灾区实景。发布者借此博取观众同情，进而获取了流量。

若这种AI造谣手法是通过将AI生成的图片素材与地震信息随意组合来误导公众，那么另一种AI造谣手段则是直接运用AI“凭空捏造”，AI会根据已有的素材或是相关提示词，直接制作出文本、图片以及视频等虚假的新闻内容。

同样在今年的1月份，美国加州遭遇了山火的严重侵袭。12日那天，国内的社交媒体平台上开始广泛传播有关山火蔓延至好莱坞的图片与视频。在这些视频中，可以看到洛杉矶市郊的山顶已被熊熊大火所覆盖，而那座著名的“好莱坞”标志性的广告牌则孤独地矗立在一片火海之中。众多网友对此深信不疑。

实际上，法新社的洛杉矶记者在现场进行了核实，发现“好莱坞”并未遭受破坏；在全球火情监测系统的地图上，同样没有显示出该地区附近有火灾发生的迹象。那些显示“好莱坞”燃烧的视频和图片，实际上是由人工智能技术合成的，最初在国外某个“X”平台上出现，随后被国内的自媒体账号转载，并在社交平台上得到了广泛的传播和分享。

AI技术被滥用制造虚假信息的现象日益增多。南都大数据研究院通过搜集并分析2024年百度新闻中那些搜索热度较高的国内AI领域风险事件的报道，整理出了50个与AI相关的应用舆情案例。在这些案例中，超过五分之一与AI造谣行为相关。2024年7月，四川警方公布了10起AI造谣的典型案例，涉及利用AI技术虚构“云南山体滑坡导致8人遇难”的假新闻、制作虚假的“喜德县地震”灾情图片，还有捏造“巴中警民对峙”事件等。这些难以用肉眼区分的AI虚假信息，往往出现在公众关注的焦点话题中，极易激发公众情绪。

借助AI技术进行谣言的大规模生成，竟演变成了一种盈利途径。2024年4月，公安部揭露了一起MCN机构借助AI制造谣言的事件，涉事江西男子王某江管理着五家MCN机构，运营着842个自媒体账号，其团队运用AI工具大量产出虚假信息，日产量可达到4000至7000篇，其中一条谣言的收益甚至高达700元，平均日收入超过1万元。

目前，AI工具的广泛应用显著降低了制造谣言的成本，只需输入基础关键词，AI软件便能通过网络搜集相关资料，自动构建包含时间、地点、人物和事件等要素的文本或视频，制造出看似逼真的“新闻报道”。由此可见，AI技术的运用为网络信息环境带来了新的治理挑战。

AI造谣治理：

提升AI素养是长期解决方案

在内容创作领域，AI技术的应用显著降低了制造谣言的难度。“图解真相”对它来说并非难题，更不用说图片了；借助AI工具，制作音视频内容更是轻而易举。AI所创造的逼真影像迅速作用于观众的感官，情感因素促使人们迅速对内容作出回应，导致冷静分析的机会被忽视，从而助长了谣言的扩散。

除此之外，社交媒体平台上充斥着众多“社交机器人”，它们能够迅速且大规模地发布与转发信息，从而迅速扩大虚假信息的传播范围与速度；同时，这些机器人还能通过大量发布特定观点或情感化的内容，对公众对某一事件的看法产生影响，甚至有可能左右舆论的走向。以往，社交机器人通常较为简单直接，与人类相比容易辨识。然而，随着它们接入AI大模型，输出的信息将愈发接近人类创作，无论是转发还是评论等互动行为，都将与真实用户的表现极为相似，以至于难以区分。

目前，针对AI造谣已有一些应对措施。我国已出台了多项具体法规，旨在对人工智能制造谣言的行为实施规范与监督，诸如《网络音视频信息服务管理规范》《互联网信息服务深度合成管理规范》《生成式人工智能服务管理措施》等，这些法规均对深度合成技术生成的内容设定了监管标准，明确指出不得用于制作、散布、传播虚假新闻，而对于制作、散布、传播非真实音视频信息，必须以醒目方式标注。2024年9月，国家互联网信息办公室颁布了《人工智能生成合成内容标识办法（征求意见稿）》，与此同时，全国网安标委也推出了相应的《网络安全技术人工智能生成合成内容标识方法》，旨在技术层面上对AI生成的信息进行明确标识。

在平台层面，部分社交媒体平台强化了内容监管流程，对AI创作的素材实施标记与提醒。例如，小红书开启了AIGC治理体系的构建，对那些被认定为可能由AI生成的素材进行明显的标注；抖音则接连发布了《关于人工智能生成内容的平台规范及行业倡议》《AI生成虚拟人物管理公告》等系列通告，并持续对多种AIGC伪造内容进行严格的惩处。

此外，我们可以采取“以魔法克魔法”的策略，即利用AI来检测由AI产生的文本。国内已有不少团队致力于AI生成内容检测技术的研发，比如腾讯的混元安全团队旗下的朱雀实验室，他们开发了一款AI生成图片检测系统。该系统通过AI模型来识别真实图片与AI生成图片之间的不同特征，这些特征涵盖了图片的纹理、语义以及隐含的特性等。据腾讯介绍，该系统的最终检测准确率超过了95%。

贾开，上海交通大学国际与公共事务学院的长聘副教授，认为尽管我们可以运用技术方法应对AI合成虚假新闻的挑战，但这仅仅是一种暂时的应对措施。从长远角度考量，我们还需提升人们的综合素质以及增强对AI伦理的认识。

分析地震中受压的儿童与好莱坞火灾两个实例，我们可以发现，AI所创造的内容并非完美无瑕。在废墟之下，被埋的孩子竟然长有六根手指；而在好莱坞的标志性建筑上，有的多出了一个“L”字母，有的则多出了一个“O”字母，这些显而易见的错误恰恰体现了AI生成内容的典型缺陷，然而这些错误并未引起公众的广泛关注。某些好莱坞影片的燃烧画面底部附有“Grok AI”的水印标识，这揭示了该图像系马斯克所创立的xAI公司开发的人工智能技术所制作，然而这一信息并未引起众多观众的注意。

媒介素养和信息辨识力的提升始终是网络环境管理的核心要素，这一原则在AI时代依然适用。正如贾开所说，我们不应仅依赖技术或制度来对抗AI制造的虚假信息，人的教育和意识增强才是根本，这需要持之以恒的努力，是一项长远的工作。

专家意见：

公众源头参与是AI治理关键

AI的不当使用不仅会导致虚假信息的广泛传播，还可能涉及违法行为和侵权行为，同时引发关于道德和伦理的诸多争议。南都大数据研究院的数据不完全统计显示，在这50个国内的AI舆情案例中，大约有一半都涉及到了侵权违法行为。这些案例中，常见的情况有借助AI技术散布谣言，以此扰乱社会秩序，违反了《中华人民共和国治安管理处罚法》；还有将深度合成技术应用于诈骗活动，违反了《中华人民共和国刑法》；此外，还有未经他人同意擅自使用AI换脸技术，侵犯了公民的肖像权等行为。超过四分之一的案例引发了伦理道德上的争议，其中“AI复活”与“AI恋人”成为了典型的例子。

贾开认为，AI应用所涉及的风险既复杂又多样，主要可概括为三个方面。首先，算法治理问题备受关注，诸如算法的封闭性、公正性、对劳动力的替代作用以及虚假信息的传播等问题。其次，技术进步本身也存在问题，尤其是AI在生成过程中可能出现的结构性不平衡现象。大模型训练所需资源众多，众多公共机构和普通研究者难以获得，这可能导致技术集中化与垄断现象，进一步加剧公共与私营部门间的失衡，从而影响AI应用的普及性，制约其潜能的发挥。此外，第三个层面涉及人的发展问题，AI技术和产品的进步是一个不断进步与完善的动态过程，人们难以完全预见和消除其带来的所有风险。人的能力与意识若未能跟上技术进步的脚步，尤其是当开发者们在智力和安全意识方面存在不足，那么这很可能会导致更加严重的风险。

贾开指出，在AI时代，我们无法找到绝对安全的技术规范。因此，AI治理机制除了确立标准之外，还需涵盖接受者、受影响者以及所有利益相关者的参与。换言之，公众在这一过程中的作用变得尤为关键。在目前这个阶段，人们在应用技术时，如何提高自身技能，如何让自己的思维与技术的进步保持同步，以及如何加强人工智能伦理教育、增强对人工智能治理的认识，这些问题往往在人工智能治理中被忽视，却实则至关重要。

贾开提出，公众要参与AI治理，首先要认识到AI的变革已经启动且将持续进步，对此我们应持开放态度，积极接纳并热爱这种转变。具体来说，公众在行为上应更主动地投身于AI的发展，而不仅仅是将其作为一个技术手段被动接受；此外，公众还需参与到AI技术的演变过程之中。同时，在制度层面，也应为公众创造参与的机会和空间。尽管对大型模型开源存在诸多争议与潜在风险，但这一举措却能让广大民众有机会接触并参与到人工智能的研发过程中。“在当今时代，公众的参与意义非凡，其重要性甚至超越了技术本身的进步。参与不仅仅是对产品的接纳，更意味着从源头开始，推动技术与社会需求的紧密结合。”