刚刚结束的“双11”，在一片喜庆的战报之中，却难以掩盖一种新问题引发的乱象：不法商家借助AI换脸、AI换声技术仿冒公众人物进行直播带货，误导消费者，进而引发社会不满。

AI算法专家称，随着多模态大模型的迭代，AI伪造技术的门槛正逐步降低，只需1张清晰照片和1分钟声音样本，就能迅速生成AI换脸视频。

“AI换脸”触碰红线

近日，网信部门发布公告，因利用AI技术仿冒公众人物形象，在直播、短视频等环节发布营销信息，误导网民，涉嫌虚假宣传和网络侵权，“百货超市小店”“娜娜好物联盟”“环球护肤美妆甄选”等一批违法违规网络账号被严肃处置。目前已累计清理相关违规信息8700余条，处置仿冒公众人物账号1.1万余个。

这一公告也表明，今年“双11”期间，AI伪造问题格外突出。

前不久，演员温峥嵘自爆遭遇AI换脸直播间欺诈，还有直播间利用AI仿冒奥运冠军全红婵的声音售卖土鸡蛋，孙颖莎、王楚钦等运动员的声音也被“克隆”用于带货。

记者从抖音电商了解到，近期在日常巡查中，发现部分商家和达人在未获授权的情况下，剪辑视频、拼贴文字信息，或利用AI、特效仿冒名人进行带货营销，误导消费者，扰乱平台正常交易秩序。

其中，有三类AI伪造内容的恶意营销尤为典型：

1、少数商家利用AI技术生成虚假商品展示、夸大不实的功能宣传内容，误导消费者购买，致使用户财产受损。

2、利用AI生成虚拟人物冒充真实身份，冠以权威专家、名人的虚假人设进行带货，损害消费者信任，违规实现变现。

3、在商品详情页、直播间使用AI生成的虚构测评、编造使用体验，刻意制造虚假口碑，影响消费者理性判断。

“一旦触碰红线，平台将依规对涉事达人中断其直播，下架违规视频及商品，关闭相关账号商品分享权限、冻结成交金额等。”抖音电商再次强调，平台严禁商家和达人使用AI技术仿冒虚拟人物或社会名人（包括军警等特定身份），进行虚假宣传和带货营销。

此外，淘宝也宣布，即日起平台开展为期1个月的专项治理行动，其中将重点打击利用AI合成明星形象带货等行为。

门槛大幅下降

早在2017年，黑客“deepfake”利用AI技术将美国女演员的脸部“移植”到其他影片中，引发广泛争议。这也是AI深度伪造技术首次进入公众视野。

时至今日，AI换脸和AI换声技术不再只是黑客的专属，当前网络中充斥着大量使用AI合成的虚拟图像和视频，存在巨大安全隐患。

“早期的AI换脸，主要以GAN（生成对抗网络）为主，随着多模态模型技术的成熟，AI换脸转向更多采用自回归模型、扩散模型等生成方案。”蚂蚁集团AI身份智能算法专家刘菁菁表示，特别是FaceFusion、DeepFaceLab等开源项目，以及大模型公司API服务逐渐成熟，AI换脸的技术门槛明显降低。哪怕是普通人，无需深入理解算法原理，只需依照指引准备数据并执行脚本，就能在短时间内完成声音和人脸的合成。

“多数AI伪造工具已高度流程化和自动化，无需深入理解算法原理，通常只需准备清晰的目标人脸图像或约1分钟的人声样本，上传至工具平台并输入所需文本，就能在几分钟内生成逼真内容。”刘菁菁告诉记者，目前市面上已出现多种“一键生成”类工具，AI换脸等技术甚至出现了灰色产业化应用的端倪，需引起行业与监管机构的持续关注。

值得注意的是，当前大模型正快速发展，AI换脸等技术也随之升级迭代。

为规避检测，新型AI伪造手段能实现“对抗性攻击”，即在生成内容中嵌入人眼难以察觉的噪声，专门用于欺骗特定的检测模型，使其将其判断为“真实”，同时还能对生成内容进行压缩、加噪、调色等后处理，以消除生成痕迹，增加检测难度。

另外，AI多模态融合的能力，使得AI伪造不仅能替换脸和声音，还能同步生成对应的身体动作和场景，让伪造内容在整体上更协调，使人难辨真假。

构建多级治理体系

“AI伪造内容并非毫无破绽，现在的技术仍可能暴露瑕疵。”刘菁菁列举了几处典型的漏洞，比如手指数量异常、面部五官不对称、眼球转动不自然、口型与语音内容不匹配。或者是物理光照不一致，比如人物阴影与光源方向矛盾。还有主体和背景边界虚化畸变，人脸与头发、颈部、背景的融合处存在模糊、扭曲或颜色断层等情况，都是普通消费者辨别AI换脸等伪造内容的“诀窍”。

除了“人眼识别”外，“用AI检测AI”正成为当前行业的主流选择。AI检测能捕捉人眼难以察觉的像素级异常和频谱特征，效率高于人工判断。不过，AI检测也面临诸多问题，包括模型泛化能力不足、易受对抗攻击干扰、误报率较高、算力成本较高以及高质量训练数据稀缺等。

针对AI伪造技术滥用问题，我国陆续出台多项治理措施，正逐步建立起一套应对“黑天鹅”级别AI风险的能力体系。

9月1日施行的《人工智能生成合成内容标识办法》明确规定，人工智能生成合成的内容应当添加显式标识或者隐式标识，对于遏制人工智能滥用具有积极作用。

与此同时，《人工智能安全治理框架》也升级至2.0版。相较于1.0版本，新版框架新增“可信应用、防范失控”原则，确保人工智能技术演进是安全、可靠、可控的，严防出现威胁人类生存发展的失控风险，让AI始终处于人类控制之下。

“监管不再是事后的合规审查，而是前置到研发环节，覆盖数据标注、模型架构、训练方法和开源传播等关键节点。”上海人工智能实验室安全可信AI中心研究员王迎春表示，加强针对开源模型的治理，意味着未来可逐步建立对“模型全生命周期”的追溯机制与责任链条。

目前，抖音、淘宝等电商平台正强化AI内容审核机制，监管部门也将持续压实网站平台主体责任，对利用AI仿冒公众人物开展直播营销问题保持高压严管态势，对相关恶意营销账号发现一批、处置一批、曝光一批，维护良好网络生态。

（文章来源：上观新闻）

原标题：AI入侵双11：1张照片1分钟人声就可一键换脸 抖音淘宝将重点打击

郑重声明：信查查发布此内容旨在传播更多信息，与本站立场无关，不构成投资建议。据此操作，风险自担。