新闻周刊关注：AI滥用频发，声音克隆等乱象咋治理？

东莞南城律师了解到

新闻周刊丨人工智能的滥用，到底怎么治？

AI合成声音和形象的情况日渐增多。以近期为例，奥运选手全红婵、王楚钦的发声被技术模仿，用来推广某种农产品。同时，众多配音从业者也表达了担忧，他们赖以维生的声音特质，现在可能被轻易复制并任意应用。

这实在令人忧心忡忡，当我们的声音和容貌变得如此容易被他人随意模仿时，人与人之间的信任又该如何建立？人工智能的进步步伐正不断加快，我们应当如何通过监管和法律来设定界限？《新闻周刊》近期聚焦：人工智能的非法使用，究竟该如何应对？

AI换脸、声音克隆等合成技术滥用

让“耳听眼见”未必为实

这是配音师孙晨铭的真实声音，不过这里，是某个网络自媒体者借助人工智能技术模仿其嗓音制作的配音内容。如果不加说明，恐怕很难分辨出这两者之间的不同之处。就在近期，孙晨铭还察觉到，一家房地产企业也擅自利用他的配音片段，通过人工智能技术进行了复制，并将其应用在机构自身的形象宣传影片中。

声音遭人工智能仿制，已广泛应用于众多商业活动，此情况对孙晨铭及其同业者而言，早已司空见惯。有人向孙晨铭发送民法典相关条款，指出声音与肖像享有同等法律地位，属于个人不容侵犯的权利。因此，部分配音从业者主动前往某企业宣传片留言区表达意见，在各方压力下，该房地产企业最终向孙晨铭支付了合法授权费用。

本周，本台揭露了一起借助人工智能技术模仿奥运冠军全红婵进行商品推销的事件。此类人工智能伪造手段，已经令众多知名人士蒙受损失。微信平台今年1月份发布的通告表明，在一个月的时间段内，已经处理了超过一万条通过人工智能模仿名人实施违规组合、不妥宣传以及恶意攫取关注度的信息，并且关闭了三千二百多个相关账号。

最近，北京互联网法院处理了一桩诉讼案，被告未经许可，把大学教师李女士的形象和人工智能制作的嗓音用在书籍推广上，法院最终裁定，这种行为损害了李女士的肖像权利和声音权利。

北京互联网法院综合审判三庭(少年法庭)庭长颜君表示，此类案件中的受害者通常都是具备一定社会影响力的名人，由于他们能够获得相应的社会认可和广泛关注，其声音和形象都蕴含着商业应用价值。若带货内容涉及劣质商品或虚假宣传，极有可能损害该名人所具有的社会知名程度、公众接纳程度以及个人信誉。

这个AI视频是在两年前制作的，那个时期的技术，人物影像看起来十分呆板且缺乏真实感；到了去年七月，南京玄武区法院审理的一起案件里，有位男士借助AI换脸工具，顺利绕过了某个支付平台的人脸验证机制。人工智能技术的迅猛进步，已经导致真假之间的区别，逐渐变得模糊不清。

配音人员武扬表示，今年以来他注意到一些广告片，其中人工智能的模拟效果已经能够以假乱真，在百分之七十到八十这种平稳讲述的范围内，AI都能够表现得相当出色，就连他自己听的时候，也需要花些时间才能分辨出是不是自己录制的声音。

中国信通院人工智能所安全部高级业务主管陈文弢表示，以前制造难以用肉眼察觉的视频，技术难度很大，需要较高的技术水平，但近年来出现了简化工具，用户可直接从开源平台获取，这些工具能在普通台式电脑上运行，仅凭一张图像就能实现即时换脸功能

听说未必可靠，亲眼所见才算真实，这句老话现在遇到了严峻考验。人工智能换脸、声音模仿等制造技术被胡乱使用，导致“听到的”和“看到的”都可能不是真的。配音工作者孙晨铭深受其害，他用来养家糊口的声音，正变成可以被随便仿制的公共资源。在人工智能飞速发展的今天，他对自己今后的发展方向感到迷茫。

我们正在进入“全民AI时代”

监管能不能够跟得上呢？

现在，人工智能制作影像已经非常逼真，必须研发新方法来分辨真伪。技术进步的速度十分惊人，而操作难度也显著下降。只需一部手机和几款应用，普通人就能轻易制作出文字、图画、声响、影像等各式资料。由此可见，我们正迈向一个“大众人工智能时期”。

不过，科技的应用难免会出现AI的不当使用情况，例如伪造他人容貌与声音进行冒充，还有各种低级趣味视频的扩散，以及虚假信息的泛滥，AI都扮演了关键角色。时常会有新的麻烦出现。因此，面对技术飞速发展的现状，我们必须重视管理措施，其能否及时跟上步伐是个疑问。

五官非常漂亮，眼神十分传神，动作十分顺畅，如果没有特别说明，你是否能够看出来，这是一个完全由人工智能制作的数字人物？在短小的视频网站上，这样的视频到处都是，还有许多视频，直接提供不用花钱的人工智能软件以及操作方法。

一部手机，配合两三种人工智能应用，仅需短暂几分钟，即可生成一段持续五秒上下，展现女性舞蹈的画面。人工智能合成技术的迅猛进步，正不断累积起管理上的潜在危机。前年，抖音安全部门曾发布通报，指出已经察觉到多种运用人工智能技术制造虚拟人物的不当情形，这些情形涵盖了借助人工智能创造外表出众的虚拟男女形象，以此骗取关注，将用户引至私下交流平台，甚至从事欺诈活动。抖音平台本周五公布的统计信息显示，该平台在最近一周内清理的AI相关违规信息数量，与2025年首周相比，增加了62%。

目前，自2023年起，抖音等众多平台相继规定，对于人工智能创作的内容，必须标注“系AI制作”，同时会实施监控和处理措施。然而南城律师，实际落实情况并不理想。还有自媒体作者指出，部分平台的监控方法存在漏洞，例如某些AI应用设有镜像数据，其瞬间生成的虚拟人物图像，便能绕过平台的检测。

自媒体创作者表示数量不多，其创作内容中每十四个里面仅有一两个可能会被判定。倘若系统将其识别为人工智能生成物，可以将其从平台移除，随后再上传另一份作品。

中国信通院人工智能所安全部高级业务主管陈文弢表示，一旦视频带有这个标记，人们第一眼看到时可能会认为它是人工智能制作的，因此对其真实性的信任度会降低，所以用户通常不希望添加这个标签。从技术层面分析，如果想完全符合监管规定，将所有人工合成视频都准确识别出来，实际操作中存在相当大的挑战。

根据专家意见，与视频和图片相比，监管AI制造的文字虚假信息更为棘手。去年，江西南昌侦破了一起利用AI造谣的案件。涉案机构借助AI工具，每日最多能炮制四千到七千篇不实文章，其产出量令人咋舌。此外，令人忧虑的是，AI算法能够分析用户偏好，针对性地生成虚假内容，导致AI散布的谣言越来越难以分辨真伪。今年三月，有个自媒体账号刊登了关于全国首例“AI医疗误诊”诉讼案开庭的报道，里面包含了时间、地点、当事人以及庭审中的主要争论点等许多细节，但是，记者和法院经过查证后发现，所有这些内容都是AI虚构的虚假信息。

如今，部分网站确实设有专门“虚假信息档案”，借助标记焦点词汇来拦截不实言论。不过东莞南城律师，某些组织正借助人工智能技术，开展定向训练以应对审查，凭借替换同义语或相似说法，便能规避检测。

今年四月起，中央网信办启动了为期三个月的“净网·规范AI技术应用”专项活动，针对AI换脸、AI声音模仿以及AI内容缺乏标注等问题进行集中处理，这些是行动中的主要关注对象，六月份，网信部门公布了第一阶段的工作成效，共处理了超过三千五百个违规的小程序、应用软件和智能体等AI产品，清除了将近十万的违规信息，还关闭了三千七百多个相关账号。现在，为期三个月的专项活动已经收尾，不过，对于监管和人工智能乱用的较量，显然还处于初步阶段。

张凌寒，联合国高级别人工智能咨询机构中方专家，同时也是中国政法大学数据法治研究院的教授，认为我们需要确立一个明确的目标，确保在人工智能应用迅速发展的背景下，未来几年内，由人工智能滥用所产生的虚假内容能够被控制在合理的界限之内。这个可控的范围意味着我们不可以让众多民众因此遭受重大的人身及财产损害，还要着力降低AI内容带来的虚假宣传对社会稳定性的冲击。这是我们坚守的原则和界限。

“内容由AI生成”

能改变AI滥用的现状吗？

人工智能，正以惊人的速率重塑全球格局，它既是科技革新的制高点，也是国际力量较量的新战场，相关产业的繁荣固然关键，但运用政策法规为它设定界限，同样显得非常迫切，因为技术本身的发展并不必然带来人类福祉的提升，更关键的是借助规范来引导其发展路径。

谈及规范，针对AI制造的内容，9月1日之后，网信办与另外三个部门公布的《人工智能制作合成材料标记措施》将正式执行，该措施要求平台方，对于各类生成的文本、声响、图像、影片等合成材料，必须在显著位置附加明确标记，即往后所有AI创作均需表明出处，注明系机器生成，此举能否扭转当前AI被过度使用的局面？

某个视频应用上，一段由人工智能制作的视频，其左下角处标明了出处信息，说明内容系机器创作，这项标注要求，在9月1日即将生效的《人工智能制作合成内容标注准则》中，有了更清晰的界定，要求对人工智能制作合成内容的整个过程，都必须进行标注。

北京抖音信息服务有限公司副总编辑全森表示，这项标识办法规定AI技术服务提供方，需对资料（元数据）信息实施隐晦标记。这种关键环节打通了主要瓶颈，该瓶颈是技术服务站点与信息发布站点之间，资料交换存在阻碍。消除这一阻碍后，我们预估能显著缓解AI系统辨识困难的情况。

即将推行的这项《标识办法》，针对人工智能制造合成内容的生产、流转和运用等阶段，对标识规则进行了全面性的完善和明确。由于深度合成技术愈发真实，规避监管的方式持续更新，人工鉴别的挑战不断加大，配套的法规和措施，也必须持续应对变化。

创建生成式人工智能标记规范体系，已是全球多数国家的共同认识。根据权威人士观点，我国在这一领域的法制建设进度较快，2023年正式推行的《互联网信息服务深度合成管理措施》，在国际层面相关法规中，首次清晰界定了生成式人工智能标记责任。

权威人士指出，即将推行的《标识办法》，本质上属于指导性文件，在整个法律框架中等级不高。若从更宏观的视角审视人工智能相关立法，保障安全、保护隐私、确保公平等都是无法回避的关键议题。今年，仿人型机器人产业驶入发展快车道，机器设备正逐步与人类开展面对面的互动，乃至发生身体接触。在深圳市的一处养老场所，服务型机器人，不仅能够引导长者进行舞蹈活动，搀扶行动不便者行走，亦可陪伴进行乒乓球对练，以及提供饮水服务，堪称功能全面。对于这些新型的照护伙伴，部分长者表现出既期待又忧虑的情绪，他们关心机器设备是否真的可靠安全。

多年来持续研究，我国已经基本形成了包含多种层级和角度的智能机器法律体系，不过还必须制定一部能够总领全局的高标准智能机器法律，以便实现整体约束。国务院发布的2024年立法安排里提到要准备提交全国人大常委会审议人工智能相关法律草案，而全国人大常委会2025年的立法安排则说明，关于人工智能健康发展的立法工作，需要相关部门尽快进行调研和起草，根据情况决定何时进行审议，可见中国的智能法案正在迅速制定中。

人工智能，被某些人称作潘多拉魔盒，它既能开启无限机遇，也可能伴随无法预料的祸患。

最近在上海举行的世界人工智能会议，图灵奖得主辛顿的发言，也在告诫大家，对待人工智能要足够谨慎。他将人与AI的关联，称作是饲养一头猛虎，猛虎成年后或许能轻易胜过人类，而且人类没有摆脱或根除它的办法，人类要想继续存在，必须设法训练好AI。研发出超越人类智慧的先进人工智能，这既是我们面临的一项重大机遇，也是一项前所未有的难题。

依照中国传统说法，人若缺乏长远考虑，难免遭遇眼前困境，针对人工智能领域，我们需具备前瞻思维，方能稳健前行。(来源：央视新闻客户端)

东莞南城律师?敬请于评论区发表高见，并对本文予以点赞及转发，以助广大读者把握法律与正义的界限。