4月21日，昆仑万维SkyReels团队发扬发布并开源SkyReels-V2——各人首个使用扩散将就（Diffusion-forcing）框架的无尽时长电影生成模子，其通过纠合多模态大讲话模子（MLLM）、多阶段预检修（Multi-stage Pretraining）、强化学习（Reinforcement Learning）和扩散将就（Diffusion-forcing）框架来竣事协同优化。

追想以前一年，视频生成技巧在扩散模子和自记忆框架的鼓励下取得了显赫进展，但在辅导词慑服、视觉质地、畅通动态和视频时长的互助上仍面对要紧挑战。

现存技巧在普及褂讪的视觉质地时时常断送畅通动态后果，为了优先酌量高分歧率而收尾视频时长（时常为5-10秒），而况由于通用多模态大讲话模子（MLLM）无法解读电影语法（如镜头构图、演员神采和录像机畅通），导致镜头感知生成才调不及。这些互有关联的收尾阻止了长视频的传神合成和专科电影作风的生成。

为了科罚这些痛点，SkyReels-V2应时而生，它不仅在技巧上竣事了糟蹋，还提供了多种灵验的应用场景，包括故事生成、图生视频、运镜各人和多主体一致性视频生成（SkyReels-A2）。

SkyReels-V2现已相沿生成30秒、40秒的视频，且具备生成高畅通质地、高一致性、高保真视频的才调。

中枢技巧革命，迈入“无尽时长、影视级质地、精确轨则”的全新视频生成阶段

图丨SkyReels-V2设施空洞

SkyReels-V2好像达到这么的视频生成后果，源于其多项革命技巧：

1. 全面的影视级视频建壮模子：SkyCaptioner-V1

为了提高辅导词慑服才调，团队假想了一种结构化的视频暗意设施，将多模态LLM的一般描述与子各人模子的注目镜头讲话相纠合。这种设施好像识别视频中的主体类型、外不雅、神采、动作和位置等信息，同期通过东谈主工标注和模子检修，进一步普及了对镜头讲话的建壮才调。

同期，团队检修了一个斡旋的视频建壮模子SkyCaptioner-V1，它好像高效地建壮视频数据，生成相宜原始结构信息的万般化描述。通过这种神气，SkyCaptioner-V1不仅好像建壮视频的一般内容，还能捕捉到电影场景中的专科镜头讲话，从而显赫提高了生成视频的辅导词慑服才调。此外，这个模子目下照旧开源，不错告成使用。

2. 针对畅通的偏好优化

现存的视频生成模子在畅通质地上施展欠安，主要原因是优化指标未能充分酌量时序一致性和畅通合感性。通过强化学习（RL）检修，使用东谈主工标注和合成失真数据，科罚了动态污蔑、分歧理等问题。为了镌汰数据标注资本，假想了一个半自动数据集结管谈，好像高效地生成偏好对比数据对。

通过这种神气，SkyReels-V2在畅通动态方面施展优异，好像生成判辨且传神的视频内容，吹法螺电影制作中对高质地畅通动态的需求。

3. 高效的扩散将就框架

为了竣事长视频生成才调，提议了一种扩散将就（diffusion forcing）后检修设施。与从零脱手检修扩散将就模子不同，通过微调预检修的扩散模子，将其编削为扩散将就模子。这种设施不仅减少了检修资本，还显赫提高了生奏服从。

咱们采纳非递减噪声时刻表，在线看av将相连帧的去噪时刻表搜索空间从O(1e48) 镌汰到O(1e32)，从而竣事了长视频的高效生成。

4. 渐进式分歧率预检修与多阶段后检修优化

为了开导一个专科的影视生成模子，多阶段质地保证框架整合了来自三个主要开首的数据：

通用数据集：整合了开源资源，包括Koala-36M、HumanVid，以及从互联网爬取的特地视频资源。这些数据提供了平日的基础视频素材，涵盖了多种场景和动作。

自集结媒体：包括280，000多部电影和800，000多集电视剧@91porn_soul，袒护120多个国度（计算总时长卓绝620万小时）。这些数据为模子提供了丰富的电影作风和叙事结构。

艺术资源库：从互联网获得的高质地视频钞票，确保生成内容的视觉质地达到专科圭臬。

原始数据集范围达到亿级（O(100M)），不同子集把柄质地要求在各个检修阶段使用。此外，咱们还集结了亿级的主张均衡图像数据，以加快早期检修中生成才调的配置。在此数据基础上，咱们最初通过渐进式分歧率预检修配置基础视频生成模子，然后进行四阶段的后续检修增强：

运行主张均衡的监督微调（SFT）：通过主张均衡的数据集进行微调，为后续优化提供细腻的运行化。

畅通特定的强化学习（RL）检修：通过偏好优化普及畅通动态质地。

扩散将就框架（DF）：竣事长视频生成才调。

高质地SFT：进一步普及视觉保真度。

纠合富含影视级别数据和多阶段优化设施，咱们确保了SkyReels-V2在资源有限的情况下，高效的稳步普及多方面的施展，达到影视级视频生成的水准。

在SkyReels-Bench和V-Bench评估中，性能施展不凡

为了全面评估SkyReels-V2的性能，咱们构建了SkyReels-Bench用于东谈主类评估，并运用开源的V-Bench进行自动化评估。这种双重评估框架使咱们好像系统地相比SkyReels-V2和其他起始进的基线模子（包括开源和闭源模子）。

1. SkyReels-Bench评估

SkyReels-Bench包含1020个文本辅导词，系统性地评估了四个要道维度：指示慑服、畅通质地、一致性和视觉质地。该基准旨在评估文本到视频（T2V）和图像到视频（I2V）生成模子，提供跨不同生成范式的全面评估。

在SkyReels-Bench评估中，SkyReels-V2在指示慑服方面取得了显赫进展，同期在保证畅通质地的同期逼迫送视频的一致性后果。具体施展如下：

指示慑服：SkyReels-V2在畅通指示、主体指示、空间联系、镜头类型、神采和录像机畅通的慑服上均优于基线设施。

畅通质地：在畅通动态性、判辨性和物理合感性方面，SkyReels-V2施展出色，生成的畅通内容当然且万般。

一致性：主体和场景在扫数这个词视频中保捏高度一致，畅通经过有较高的保真度。

视觉质地：生成视频在视觉澄清度、颜色准确性和结构齐全性上均达到高水平，无明显污蔑或损坏。

痔疮 肛交

图丨在SkyReels-Bench的T2V多维度东谈主工评测集下，SkyReels-V2在指示慑服和一致性得到最高水准，同期在视频质地和畅通质地上保捏第一梯队

2. VBench1.0罢了

在VBench1.0自动化评估中，SkyReels-V2在总分（83.9%）和质地分（84.7%）上均优于扫数对比模子，包括HunyuanVideo-13B和Wan2.1-14B。这一罢了进一步考据了SkyReels-V2在生成高保真、指示对皆的视频内容方面的高大才调。

图丨在V-bench1.0的长prompt版块下，SkyReels-V2超越了扫数的开源模子，包括HunyuanVideo-13B和Wan2.1-14B

丰富的应用场景，赋能创意竣事

SkyReels-V2不仅在技巧上竣事了糟蹋，还为多个本色应用场景提供了高大的相沿：

1. 故事生成

SkyReels-V2好像生成表面上无尽时长的视频，通过滑动窗口设施，模子在生成新帧时会参考之前生成的帧和文本辅导。为了驻扎造作积攒，咱们采纳了褂讪化技巧，通过在之前生成的帧上添加狭窄噪声来褂讪生成经过。这种设施不仅相沿时刻上的延长，还能生成具有连贯叙事的长镜头视频。

通过一系列叙事文本辅导，SkyReels-V2好像编排一个连贯的视觉叙事，跳跃多个动作场景，同期保捏视觉一致性。这种才调确保了场景之间的平滑过渡，使得动态叙事愈加判辨，而不会影响视觉元素的齐全性。这一功能特等稳健需要复杂多动作序列的应用，如电影制作和告白创作。

2. 图像到视频合成

SkyReels-V2提供了两种图像到视频（I2V）的生成设施：

·微调全序列文本到视频（T2V）扩散模子（SkyReels-V2-I2V）：通过将输入图像行动条目注入T2V架构中，模子好像运用参考帧进行后续生成。这种设施在384个GPU上仅需10，000次检修迭代即可取得和闭源模子同品级的后果。

·扩散将就模子与帧条目纠合（SkyReels-V2-DF）：通过将第一帧行动干净的参考条目输入扩散框架，无需显式从头检修即可保捏时刻一致性。

在SkyReels-Bench的I2V多维度东谈主工评测集下，SkyReels-V2在扫数质地维度上均优于其他开源模子，并与闭源模子施展特等。

3. 录像导演功能

SkyReels-V2在标注录像机畅通方面施展出色，但咱们发现录像机畅通数据的固有对抗衡对进一步优化影相参数提议了挑战。为此，咱们有利筛选了约100万个样本，确保基本录像机畅通过火常见组合的均衡暗意。通过在384个GPU上进行3，000次迭代的微调推行，咱们显赫普及了影相后果，特等是在录像机畅通的判辨性和万般性方面。

4. 元素到视频生成

基于SkyReels-V2基座模子，咱们研发了SkyReels-A2有野心，并提议了一种新的多元素到视频（E2V）任务，好像将轻易视觉元素（如东谈主物、物体和配景）组合成由文本辅导指导的连贯视频，同期确保对每个元素的参考图像的高保真度。这一功能特等稳健短剧、音乐视频和凭空电商内容创作等应用。

行动首个贸易级E2V开源模子，SkyReels-A2在E2V评估Benchmark A2-Bench中的罢了标明，其一致性和质地维度上评估与闭源模子特等。将来，咱们规画延长框架以相沿更多输入模态，如音频和动作，旨在构建一个斡旋的视频生成系统，以相沿更平日的应用。

SkyReels-V2的推出标识着视频生成技巧迈入了一个新的阶段，为竣事高质地、永劫刻的电影作风视频生成提供了全新的科罚有野心。它不仅为内容创作家提供了高大的器具，更开启了运用AI进行视频叙事和创意抒发的无尽可能。

昆仑万维SkyReels团队仍辛劳于鼓励视频生成技巧的发展，并将SkyCaptioner-V1和SkyReels-V2系列模子（包括扩散将就、文本到视频、图像到视频、录像导演和元素到视频模子）的各式尺寸（1.3B、5B、14B）进行所有开源，以促进学术界和工业界的进一步盘考和应用。

原标题：SkyReels-V2开源：糟蹋视频生成技巧鸿沟，开启无尽时长电影生成新期间

（资讯）

剪辑：张沛    责编：周希     审核：肖玲@91porn_soul

【免责声明】上游新闻客户端未标有“开首：上游新闻”或“上游新闻LOGO、水印的笔墨、图片、音频、视频”等稿件均为转载稿。如转载稿触及版权等问题，请 计算上游 。

• @91porn_soul
• SkyReels