导读

以Sora、DALL-E、ChatGPT 为代表的生成式东谈主工智能席卷寰球，正平凡应用于学问问答、视频生成等多个领域，成为多个枢纽行业的改进引擎。生成式东谈主工智能四肢新一代国度东谈主工智能基础法子的关节身分，已成为世界列国战略资源和软实力竞争的焦点。与此同期，生成式东谈主工智能手艺的锻练与平凡使用也带来生成伪造信息等新式安全风险，导致安全事件频发。违纪分子欺诈深度伪造手艺（Deepfake）生成以伪乱果真无益视频、图像等视觉内容，这些内容在互联网平凡传播，激发了诸如电信拐骗、国度带领东谈主乱骂、色情视频伪造、以及东谈主脸认证系统欺诈等安全问题，牵动国度安全与社会平稳。

古语云“著名不如一见”，相较于文本和音频，视觉信息常常更为直不雅且具有更强的劝服力。但是“眼见不一定为实”，基于深度合成手艺伪造的图像和视频往往具有招引性。举例，2022年俄乌干戈中，乌克兰总统泽连斯基敕令乌克兰士兵死守的伪造视频在辘集上疯传；2024年拐骗分子欺诈深度伪造手艺在视频会议中冒充英国某公司高层不断者的形象和声息，骗取了中国香港某公司近2亿港元；2024年著名好意思国女星泰勒斯威夫特的伪造色情视频在辘集上激发数百万东谈主热议。这些案例均突显了深度合成手艺对个东谈主、社会以及国度安全的潜在阻拦。

为了有用冒失这些阻拦，2022年国度网信办、工信部和公安部合伙髻布规定《互联网信息劳动深度合成不断章程》，针对东谈主脸生成、替换、编订、操控等深度合成手艺提倡表任意条件。2023年，国度网信办等七部门颁布《生成式东谈主工智能劳动不断暂行宗旨》，进一步明确了对生成式东谈主工智能劳动的“分类”和“分级”监管，并条件深度伪造劳动的提供者必须对图片、视频等生成内容进行标志。但是，深度伪造监管规定的落地依赖精确通用的深度伪造检测手艺。

跟着深度伪造手艺的握续演进，图像和视频的伪造检测变得愈发具有挑战性。图像和视频数据分散互异、伪造算法复杂万般导致现存伪造检测算法存在检测精度低、泛化性不及的问题。此外，面对不竭演进的生成式东谈主工智能手艺、复杂多变的现实检测场景，以及万般化的数据袭击技巧，现存伪造检测递次安全驻扎才气薄弱。为了冒失这些挑战，浙江大学区块链与数据安全宇宙重心实验室大模子数据安全团队围绕深度伪造检测张开关节手艺攻关，发布主要聚焦视觉深度伪造检测领域，推出视觉深度伪造检测平台DFscan场景视觉伪造手艺的阻拦。

一、深度伪造视频检测平台DFscan

 DFscan区块链与数据安全宇宙重心实验室大模子数据安全团队诱导的视觉伪造检测平台。平台从促进生成式东谈主工智能的正当化应用和健康化发展启程，专注于图像/视频深度伪造内容的风险管控，可应用于AI电诈视频甄别、东谈主脸识别系统驻扎、重心东谈主物伪造视频监管、媒体内容合规性检测等场景。同期，检测平台支握伪造区域定位、伪造特征可视化和伪造递次溯源等细粒度检测功能，并好像生成多维可视化的检测讲演。

DFscan平台先容

 DFscan向洞开世界不同场景下的通用检测平台，以数据底座为因循、以自研算法为动手、以检测精度为中枢，搭建了图像/视频伪造检测子平台与检测算法评估子平台。

图像/视频伪造检测子平台的中枢功能是检测输入的图像/视频是信得过拍摄照旧由东谈主工智能模子生成。与已有深度伪造检测手艺比拟，DFscan型评估手艺，聚焦现存算法泛化性差、鲁棒性不及等问题，在多个不同数据域上均取得检测精度普及。检测算法评估子平台的中枢功能是对输入的视频/图像伪造检测算法的各项检测才气进行评估。为制定和解、多维的评估规范，评估平台构建开阔评估数据集，涵盖六大主流视频深度伪造类型。同期，平台构建了对比算法库，成立开阔开源检测算法四肢评测基准算法，通过多维度方针测评，生周全地点性能评估讲演。

平台架构图

 DFscan功能性子平台和大领域数据底座组成，如上图所示。两大子平台在手艺层面互相促进，而数据集底座为两大子平台的构建提供了基础与因循。它们共同组成一个完好且高效的系统，为有关筹商和应用提供了有劲的支握。下图展示了DFscan用户不错通过网页上传待检测视频或者成功调用API样貌使用本平台检测功能。待检测视频经过切帧和东谈主脸区域剪辑等预处理操作后，被输入至多个不同类别的内行模子进行伪造检测，其中每类内行模子又包含多个调换结构的子模子。决议阶段给祛除类内行模子的不同子模子赋予不同权重，并通过加权相加团员各子模子的输出已矣，临了禁受共鸣决议递次和会多类内行模子的置信度分数。平台通过诞妄率（EER）详情系统最好判定阈值，将最终检测置信度与阈值比较，得到真伪判别已矣。

 DFscan检测进程与评分规范

DFscan特质上风

 DFscan平台安稳自我迭代与最新深度伪造手艺筹商，在数据算法积贮、算法评估、中枢检测才气与多功能劳动方面具备权臣上风。

平台功能展示

【数据、算法、后果及名堂广域积贮】

团队基于学问+数据动手的模式构建视觉深度伪造检测平台，平台中枢在于高质料数据和优秀算法的双重积贮。DFscan平凡汇集代表性、万般化开源数据，同期部署开阔伪造算法并构建领域化自建数据集，用于因循模子高效教练，普及模子对万般深度伪造手艺的检测才气。同期，通过辨识伪造内容和信得过内容的表征互异性、挖掘不同生成阶梯的深度伪造内容一致性特征，从而准确地识别出潜在的伪造图像/视频。

 1.大领域数据库及场景化数据增强

 DFscan平台采集了15个公开的伪造和信得过数据集，并部署了20+种常见伪造算法的批量生成剧本，构建了千万级的自建图像/视频伪造数据库。在数据库构建时，咱们沟通了互异化东谈主种、性别、年岁、真伪片断羼杂、拍摄角度、光照等属性互异。此外，平台针对现实世界检测任务设想了场景化数据增强体系，重心围绕模子的鲁棒性和泛化性进行拟真化普及，以鼓舞DFscan平台实战性能。数据增强包含旋转、加噪、压缩、滤波、亮度填塞度对比度诊治等信得过场景模拟手艺，以此普及检测器的鲁棒性。同期，对部分图像使用重构和抗争袭击算法进行极度处理，进一步增强检测器对不同袭击技巧的检测才气，以冒失坏心的逃跑袭击。

 2.多元化算法底座

 DFscan平台伪造算法底座除了东谈主脸换脸、色彩动手、属性编订、全脸合成等四类基础伪造算法外，还涵盖了文本生成图像/视频和音频动手图像伪造算法。在检测算法方面，平台部署了12+种典型的开源伪造检测算法，用于评估和比较检测才气。其中，包括真伪判断的视频级、整图级和东谈主脸级惯例伪造检测算法10余种，以及具有图像伪造区域定位和视频伪造片断判别功能的极度伪造检测算法2种。这种丰富的检测算法和评估已矣积贮，为平台的中枢检测才气的建造奠定了坚实的基础。

数据与算法底座

 3.后果和名堂积贮

 DFscan团队当今在国表里顶级会议和期刊上发表了40+篇论文，获第三届中国东谈主工智能大赛音视频合成挑战赛A级（一等奖）文凭。同期，平台与国度部门、互联网头部企业开展平凡合作，包括北京网安总队、嘉善公安、腾讯QQ等。

【中枢检测手艺构建】

深度伪造手艺的日益更新和迭代导致了现存深度伪造检测手艺的泛化性受到严重挑战，同期，单一模子对数据中的噪声和相当值比较明锐，可能导致过拟合或者欠拟合，容易出现预测偏差。针对以上问题，本平台研发高泛化性检测模子和换脸场景高精度检测模子，并效率鼓舞重心东谈主物伪造检测和检测才气跨伪造算法迁徙筹商。

 1.高泛化性检测模子

由于不同类型伪造模子生成的伪造样本呈现出万般化的伪造特征，这些特征既具有特异性也透泄漏一定的通用性。为了构建一个具备高度泛化才气的通用检测模子，本平台改进性地设想了基于互信息最大化的伪造特征解耦递次。该递次旨在将全局的伪造特征细化为多种不同且互不重复的伪造踪影特征。随后，筛选出对检测任务起主导作用的特征，以及那些对构建通用模子尤为关节的通用伪造踪影特征。这一系列的策略和递次旨在提高检测模子的准确性和泛化才气，以冒失复杂多变的伪造样本。

基于互信息最大化的伪造特征解耦递次

2.换脸场景高精度检测模子

平台对深度伪造中东谈主脸替换高危场景进行筹商，部署10余种开源检测模子，提倡现存换脸检测算法开阔存在跨伪造算法检测精度低的问题。团队设想了基于定位和考据的双流检测模子，通过三个功能模块来合营处理多模态和多规范特征，并欺诈定位的伪造区域诱导模子感知潜在的换脸区域，强化模子对换脸数据的检测才气。同期，为了治理数据库中海量换脸图像枯竭伪造区域标注的问题，咱们提倡了基于半监督学习的伪造区域估战略略。

基于定位和考据的双流检测模子

 3.重心东谈主物的伪造检测

现存伪造检测算法开阔存在跨数据集检测性能不睬思的问题，而连年来针对重心东谈主物的伪造视频在酬酢媒体中的传播冉冉加多，亟需针对重心东谈主物的高准确率、高泛化的伪造检测模子。筹商发现，诚然现存的伪造算法生成的视频传神度较高，还是好像很猛进度上欺诈东谈主眼的判断，但是深度神经辘集仍能通过索求特征加以分手。这一丝在身份特征上尤其如斯，实验发现，欺诈东谈主脸识别场景中常用的身份特征索求辘集，信得过东谈主脸和伪造东谈主脸索求的身份特征会分散于不同的特征空间位置。基于这一发现，团队完毕了基于身份先验的重心东谈主物伪造检测递次，通过引入重心东谈主物信得过图像四肢先验信息，构建了针对重心东谈主物伪造视频场景的伪造检测框架，大大提高了该场景下的检测准确率和跨域才气。

基于身份先验信息的重心东谈主物检测递次

 4.检测才气跨伪造算法迁徙

平台奋力于对新兴的深度伪造手艺进行真切筹商，并完毕检测模子的握续更新迭代。但是，在践诺应用中，咱们濒临着全新伪造样本数据不平衡和模子迭代时发生灾荒性渐忘等挑战。这些问题使得现存检测模子难以对小数全新伪造样本进行有用学习。要是模子成功对现存数据进行学习，不仅会由于数据量少而导致模子无法索求到有用的特征信息，更可能激发灾荒性渐忘，从而吃亏现存的检测才气。为了治理这些问题，团队提倡禁受基于域自恰当的增量学习策略来推动平台的更新迭代。该策略通过有监督的对比学习，好像充分欺诈新旧数据之间的关联性，使模子对新任务进行有用学习。同期，结合多角度学问蒸馏策略和艰难样本回放胆艺，进一步普及了模子的泛化才气和平稳性，有用缓解了灾荒性渐忘的问题。通过膨大这一策略，咱们期许好像完毕对深度伪造手艺的握续追踪和有用冒失，同期不竭优化和完善检测模子，普及其在现实场景中的应用效果。

基于域自恰当的伪造检测增量学习框架

【多功能检测劳动】

 DFscan藏身于现实场景的检测需求，依靠团队在数据、算法、工程上的广域积贮，为用户提供简直精确、功能丰富、透明易用的检测劳动。平台支握单条或批量的图像和视频数据检测功能，用户只需一键上传待检测数据，恭候数秒，平台即可返会检测讲演，不仅给出判定已矣，况且注重讲明各内行模子给出的置信度分数。关于视频数据，讲演会进一步给出细粒度片断的判定已矣和平均置信度分数。后续平台会连续上线伪造区域定位、伪造递次溯源等细粒度判定功能。DFscan平台通过多内行模子、多检测维度和多可视化递次，使得判定已矣更为精确明晰，从而普及用户关于平台的体验感受和决议信任度。

DFscan平台视频批量检测效果展示

DFscan平台视频检测已矣展示（注：左边置信度越大视频帧越信得过）

【DFscan检测才气】

 DFscan具有业内超越的真伪检出才气。团队从多个东谈主脸替换的代表性数据集（包括FF++，DFDC，Celeb-DF等）的测试辘集迅速考中了2万张图像，组成了一个复杂的测试集，对DFscan与多个著名开源模子的检测才气进行对比。实验已矣如下图所示，比拟于现存的开源检测模子，DFscan在开源数据集上展现出超越的检测性能。

 DFscan与著名开源检测模子的性能对比

为了进一步评估DFscan关于不同伪造类型的检测才气，团队对现时视觉AIGC领域最为火热的生成模子合成的图像/视频张开伪造检测测试，这些生成模子包括基于生成抗争辘集的StyleGAN，基于扩散模子的文生图大模子Stable Diffusion和Midjourney，以及OpenAI最新的热点文生视频大模子Sora。评估已矣如下图所示，DFscan面对多种图像/视频生成模子皆取得较高的检测性能，平均准确率大于90%。

 DFscan针对代表性生成算法的检测才气

二、往时筹办

生成式东谈主工智能在社会的各个层面展现出了其改进后劲，在赋予东谈主们糊口绵薄性的同期，其安全性问题亦引起了平凡关怀。在此布景下，浙江大学区块链与数据安全宇宙重心实验室的大模子数据安全团队奋力于深度合成内容安全的筹商，已得胜构建包含千万级伪造内容的数据底座，并得胜研发及复现了数十余种深度合成算法。团队握续鼓舞视觉深度伪造检测平台的场景化应用，为AI安全领域的筹商与应用提供了有劲支握。

鉴于视频深度伪造手艺的握续演进，DFscan亦将不竭普及其检测才气与展现模式，以餍足用户日益增长的需求并冒失往时的手艺挑战。领先，团队将握续推行数据底座，迭代更新检测手艺，以完毕伪造特征的更精确定位和识别，从而提高对DALL·E3、Sora等最新视频图像生成模子的检测准确率。其次，团队将奋力于普及抗争场景下的检测鲁棒性，以冒失万般模式的视频图像伪造袭击。此外，优化检测已矣的呈现模式，普及检测已矣的解释性，使用户好像更直不雅地清爽检测已矣与检测逻辑，进而普及平台的使用体验。临了，本平台将积极拓展适配场景，以餍足不同用户的万般化需求。

量度往时，DFscan将依托浙江大学区块链与数据安全宇宙重心实验室的浑健硕力，积极与社会各界开展真切的合作与交流。咱们竭诚邀请各界有关业务东谈主员通过邮箱干系咱们，获取测试账号，成功体验本平台的视频伪造检测等功能。关于有自动化部署需求的用户，咱们可提供API接口，完毕而已调用。同期，咱们亦接待企业机构提倡特定业务需求，咱们将提供针对特定业务场景的定制化合成视频图像检测劳动。此外，咱们紧迫期待各界手艺东谈主员与安全筹商者对本平台提倡隆重倡导，并竭诚邀请高校、筹商机构以及产业界与咱们开展科研与产学研滚动等方面的深度合作，共同为生成式东谈主工智能的安全发展孝敬力量。如有任何合作意向或建议，请通过DFscanzju@outlook.com与咱们干系。

—————————————————————————————————

浙江大学区块链与数据安全宇宙重心实验室于2022年11月隆重赢得国度科技部批准树立。实验室由陈纯院士领衔担任主任，聚焦区块链与数据安宇宙外科技前沿，以完毕高水平科技自立自立和打造具有世界一流的战略科技力量为己任，围绕产学研一体和会，开展系统性改进性科技攻关。实验室的筹商标的主要包括区块链手艺与平台、区块链监管监测、智能合约与分散式软件、数据身分安全与诡秘狡计、AI数据安全与领略抗争、AI原生数据处理系统、辘集数据治理、智能网联车数据安全、简直数据存储与狡计手艺等。

浙江大学区块链与数据安全宇宙重心实验室大模子数据安全团队由常务副主任、狡计机学院院长任奎解释牵头，在科技部科技改进2030-“新一代东谈主工智能”要紧名堂、国度重心研发筹办名堂、国度当然科学基金委区域改进发展勾通基金重心名堂、浙江省领军型改进创业团队名堂、浙江省重心研发名堂、浙江省领雁筹办名堂、浙江省当然科学基金要紧名堂等多个国度级/省部级名堂的支握下，面向大模子数据，筹商数据安全与数据诡秘基础表面，构建大模子数据安全评测平台和安全组件，为建造大模子数据安全生态提供表面因循、合规检修及安全加固劳动，保险大模子的教练、部署及使用的全进程数据安全。

• 数据
• 安全
• fc2 巨乳
• 全重
• 区块