近年来，生成式人工智能技术在带来便利的同时，也被造谣者利用，多起AI生成谣言在网络广泛传播，误导公众认知，破坏网络环境。尽管相关法规已要求AI生成内容标注标识，平台也在检测，但由于技术难题，仍有谣言视频流出。专家指出，防范AI滥用需多方共同努力，建立“数字信任生态体系”。
AI生成谣言视频频现，误导公众破坏网络环境
近期，多起AI生成谣言在网络广泛传播。例如，今年11月28日，有网友上传一段视频，视频中一名模特在展出车辆旁衣着暴露并做出不雅动作，然而当天车企并未安排模特宣传，随后车企选择报警。12月10日，广州警方通报，李某为炫耀个人技术用AI生成该虚假视频，被行拘10日。此外，珠峰装电梯的谣言视频借助AI生成工具制作得更为精良，再次广泛传播，西藏相关部门紧急辟谣，称珠峰暂无安装电梯计划，网传图文视频为AI生成虚假信息。部分营销号还利用AI伪造西藏各类打卡景点的虚假图文视频吸引流量。
法规要求AI生成内容“亮明身份”，执行却存漏洞
今年9月1日起，《人工智能生成合成内容标识办法》正式施行，明确所有AI生成的文字、图片、视频等内容都要标注AI生成标识。通常涉及AI生成工具、信息发布者和发布平台三个主体，每一个环节都应标注。总台记者演示，AI生成图片的标识一般在图片左上角，下载到手机中会到右下角；信息发布者可在视频号通过特定操作标注AI制作标识。但一些人为博眼球将AI生成标识二次加工去掉后发布，给网友造成内容真实的错觉。
平台检测AI生成内容，技术困境致谣言漏网
面对海量网民上传内容，短视频平台采用机审和人审相结合的方式审核AI生成内容，并不断强化识别能力，通过收集样本训练多个识别模型。具体检测时，会留意文本统计特征，寻找“机器指纹”；基于深度学习模型分析像素和频域中的AI生成伪影；利用多模态融合检测技术捕捉跨模态、高级语义上的不一致。然而，因AI生成工具不断成熟，识别工具存在理论瓶颈，难以仅靠统计指标区分，且检测特征易被破坏，面对新模型泛化性不足，导致检测始终滞后，使得AI谣言类信息难以完全被检测出来。
多方共同努力，防范AI滥用
专家表示，防范AI滥用不仅要更新识别工具技术，还要加速建立“数字信任生态体系”。某平台生态运营经理陈咏月称，AI滥用治理是系统性工程，网络黑灰产会技术升级，需AI服务提供者、创作者、内容传播平台、广大用户共同努力。中国计算机学会计算机安全专委会执行委员潘季明提出，可深化利用多模态融合分析、动态对抗训练技术以及区块链存证追溯等技术，结合内容标识法规、行业统一检测标准以及可解释的检测结果等治理框架，实现从被动识别到主动验证，从局部鉴别到全局可信的识别追踪方案。
以上文章由 AI 总结生成
