Open-Sora: Democratizing Efficient Video Production for All 论文解读

原创已于 2025-01-16 17:29:17 修改 · 1.5k 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #视频生成 #transformer #人工智能 #计算机视觉

于 2025-01-11 14:43:00 首次发布

视频生成专栏收录该内容

9 篇文章

订阅专栏

部署运行你感兴趣的模型镜像

一、概述

Open-Sora是一个开源的视频生成模型,旨在生成高保真度的视频内容。它支持广泛的视觉生成任务,包括文本到图像、文本到视频和图像到视频的生成。该模型利用先进的深度学习架构和训练/推理技术,能够生成长达15秒、分辨率达720p、任意宽高比的灵活视频。其中的关键创新包括空间-时间扩散变换器(STDiT)和高度压缩的3D自编码器。通过这个项目,研究人员希望促进AI内容创作领域的创新、创造力和包容性。开源原则使Open-Sora民主地开放了所有的训练/推理/数据准备代码以及模型权重。

二、数据

1、来源

数据集完全开源，保证模型训练具有完全的可重复性。

视频数据集包括300万个视频clips，范围从2s到16s，总持续时间为80k小时包括Webvid-10M，Panda-70M，HD-VG-130M，MiraDara，Vript，Inter4K，Pexels，Pixabay，Mixkit数据集。

图像数据集，包含了3M图像，LAION是一个开放数据集，使用了一个美学得分大于6.5的子集，Upsplash-lite包括25k个自然主题的unsplash图片，这个数据集包含广泛的使用用途和上下文信息。

2、预处理

建立了一个完整的数据处理pipeline，来无缝地将原始视频转换为高质量视频文本对。利用PySceneCut检测场景进行剪辑，之后利用审美评分保留大于6.5的评分，再计算光流评分，取三个采样帧平均得分，过滤掉低运动的视频。利用OCR技术（DBNet++）识别文本过多的视频的模型将被删除。

对于文本信息，利用GPT-4V和PLLaVA 13B，但是实践中只用了PLLAVA 13B模型，从每个视频中选择4帧进行标注字幕，之后又利用光流来检测相机运动，标注到caption中。

三、OpenSora框架

OpenSora框架包括3D Autoencoder、text encoder、DiT-like Transformer。

1、3D Autoencoder

在Open-Sora 1.0和1.1中，使用了Stability-AI中的2D VAE，将视频空间维度上压缩8*8倍。为了减少时间维度，通过每三帧提取一帧进行降采样，但是由于产生FPS的减少，这种方法导致的时间流畅性较低。

Open-Sora 1.2引入了一个Sora-inspired 视频压缩网络，在时间维度上实现4倍压缩。Open-Sora 1.2中先利用2D VAE的知识，因为时间上相邻的特征仍然高度一致。

这个3D Autoencoder，首先空间上压缩8*8，时间上压缩4倍。使用SDXL预训练的VAE初始化2DVAE，对于3D VAE部分采用Magivit-v2的VAE结构，其中3D VAE采用causal卷积结构，对于3DVAE需要进行训练，使用Pexels和Pixabay的视频，分辨率256*256的17帧视频clip，batch_size=1。

整个训练过程包括三个阶段：

阶段1（0-380k步）：在8个GPU上进行训练，并冻结2DVAE的权重，应用identity loss将3DVAE和2DVAE进行特征对齐。

阶段2（380k-640k步）：去除identity loss并训练3D VAE完善对时间注意力的理解。

阶段3（640k-1.2M步）：对2D VAE特征重建不足进行优化，使用24个GPU，并通过随机化视频长度（多达34帧），和适当的零填充（对于图像数据的填充），实现混合视频长度训练，提高对不同视频持续时间的鲁棒性。

在前两个阶段，数据集包含80%的视频数据和20%的图像数据，但是图像数据通过零填充会导致非标准长度的视频模糊，所以第三个阶段使用了混合长度训练。