女子造谣“地铁站捅人”被行拘 AI生成虚假视频泛滥显露人工智能的“B面”

6月20日11时许，上海市公安局城市轨道和公交总队官方微博@轨交幺幺零 发布警情通报：两名营销人员为博取关注造谣地铁站发生持刀伤人的情况，被警方依法行政拘留，其中一人还使用AI生成技术制作虚假现场视频，再度引发公众对于人工智能技术被滥用的担忧。

舆论普遍认为，此类行为不仅违反了法律，也对网络环境和公共安全造成了威胁。一方面，有观点指出，涉事营销人员缺乏法治意识，为了个人得失不惜损害公共利益，应当受到法律的严惩；另一方面，此次事件也引发了对AI技术监管的讨论，公众和专家呼吁加强对AI合成技术的监管，同时提高公众的信息识别能力，防止AI工具被用于不当目的。

进入AI时代， 视频造假“门槛”日益降低

今年2月，Sora的问世引发了激烈的讨论和反响（参考：），有人惊叹于人工智能技术的迅速发展，也有人对其带来的安全隐患表示担忧。不断有舆论指出的是，以Sora为代表的AI技术的发展，虽然大大方便了工作和生活，但也让造谣的成本随之降低。一方面，假新闻的生产更加自动化和智能化；另一方面，基于深度伪造技术制作的假新闻在视觉和听觉上与真实内容几乎没有区别，因此也越来越难以被发现。

如今，图片可以P、视频可以生成，“有图有真相”“我要看到现场视频，否则不信”都已经不再是网民“混迹网络瓜田”的“金科玉律”。今年2月，中国香港警方披露，有诈骗分子利用AI仿造了英国公司高层管理人员的形象和声音，在“多人视频会议”中骗取财务职员转账2亿港元；5月，安宁市公安局网安民警在巡查中发现，一本地网民在短视频平台发布的一段长达1分55秒、“图片+配音”形式的“安徽某地发生楼房坍塌多人受伤”视频，实为AI软件制作的谣言。传统的信息真实性验证方法似乎已经失效，以假乱真的虚假视频不断欺骗着网民的感官。

早在2023年7月，浙江省就破获了省内首例团伙制作虚假视频案件。三名犯罪嫌疑人利用AI技术在网上制作并发布“浙江省绍兴市上虞区工业园区火灾”等超过三千个虚假视频，通过播放量赚取收益。其中，一名犯罪嫌疑人电脑使用都不甚娴熟，仅接受短短几天培训，就成为了虚假视频制作的“熟练工”——利用ChatGPT自动生成脚本和相关视频素材，最后一键生成有音乐、字幕的虚假视频，整个过程最快只需要1分钟。日益降低的造假门槛反映出AI技术在信息制作上的高效性和易用性，同时也给监管等方面带来更多挑战。@潮新闻 评论认为：“这样的结果更加让人对人工智能的‘B面’感到担忧。”

“网上冲浪”用户需提升辨别能力

AI生成的视频大行其道，使得辨别图文和视频新闻的真伪成为网民一项必备技能。公众想不被假新闻“牵着鼻子走”，就必须成为信息的审慎接收者和辨别者。

首先，最直观的应关注发布渠道是否为官方或权威机构。官方渠道的信息往往经过严格的审核流程，具有更高的可信度。其次，也需要从视频时间、地点、内容、水印等的合理性角度进行判断，关注事实逻辑、人物表现等细节痕迹。例如，@央视新闻 报道指出，可利用光影指标辅助进行视频真伪的判断。

来源：央视新闻

合理监管和利用AI技术

营造清朗网络环境

2023年7月13日，中央网信办发布《生成式人工智能服务管理暂行办法》，对AI技术的开发者和使用者进行规范。《办法》明确，国家采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管。利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人，承担该产品生成内容生产者的责任。

加强对AI技术的监管

相关部门首先应当加强对AI技术的监管，根据法律法规对使用AI技术制作和传播虚假信息的行为进行严格限制和处罚。正如此次事件中警方在警情通报中强调的：网络不是法外之地，公安机关将依法严厉打击为“蹭热度”而故意编造传播虚假信息的违法犯罪行为。

引入人工智能技术识别假消息

在假视频和假新闻的识别方面，可以重新引入人工智能技术，以“白AI”限制“黑AI”。解放日报社“上海网络辟谣”微信公众号发文指出：现有的人工智能技术已经有能力“一目千行”“一目万行”，有望及时填补人工核查的缺陷，快速有效识别AI造假。

多方合作共建健康网络生态

相关部门还需要与技术企业、社交媒体平台等各方精诚合作，共同构建健康的网络生态。包括推动平台加强自我管理，完善内容审核机制，以及共同开发和部署先进的内容识别技术等。通过建立行业标准和最佳实践，具体可对虚假信息的定义、识别标志、处理流程以及用户举报机制等方面制定一套清晰的指导原则，统一规范不同平台的假新闻防治和处理，帮助平台和用户正确对待虚假视频和虚假新闻。

(来源："人民网舆情数据中心”)

(链接：https://mp.weixin.qq.com/s/neuSk9b9wTdtlzfLeVPLTg）