尺寸重要:开源视频生成器现在可以制作完整电影

CN
Decrypt
关注
16小时前

开源视频生成器正在升温,并给封闭源巨头带来了竞争压力。

它们更具可定制性,限制更少,甚至没有审查,免费使用——而且现在能够生成高质量的视频,其中三个模型(Wan、Mochi 和 Hunyuan)在所有 AI 视频生成器的前 10 名中名列前茅

最新的突破在于将视频时长延长到典型的几秒钟以上,两个新模型展示了生成持续几分钟内容的能力。

事实上,本周发布的 SkyReels-V2 声称它可以生成潜在无限时长的场景,同时保持一致性。Framepack 使低端硬件的用户能够创建长视频,而不会使他们的电脑过载。

SkyReels-V2:无限视频生成

SkyReels-V2 代表了视频生成技术的重大进步,解决了限制先前模型的四个关键挑战。它将其系统描述为一个“无限长度电影生成模型”。

该模型通过其开发者称之为“扩散强制框架”的方式实现这一目标,允许无明确长度限制的无缝扩展视频内容。

它通过对先前生成内容的最后帧进行条件处理来创建新片段,防止在延长序列中质量下降。换句话说,该模型查看它刚刚创建的最后帧,以决定接下来发生什么,从而确保平滑过渡和一致的质量。

这就是视频生成器倾向于保持大约 10 秒短视频的主要原因;任何更长的时间,生成往往会失去连贯性。

结果相当令人印象深刻。开发者和爱好者上传到社交媒体的视频显示,该模型实际上相当连贯,图像没有失去质量。

在长场景中,主题始终可识别,背景不会扭曲或引入可能损害场景的伪影。

SkyReels-V2 融合了多个创新组件,包括一个新的字幕生成器,它结合了通用语言模型的知识与专业的“镜头专家”模型,以确保与电影术语的精确对齐。这有助于系统更好地理解和执行专业电影技术。

该系统使用多阶段训练管道,逐步将分辨率从 256p 提高到 720p,提供高质量的结果,同时保持视觉一致性。对于运动质量——这是 AI 视频生成中的一个持续弱点——团队实施了专门设计的强化学习,以改善自然运动模式。

该模型可以在 Skyreels.AI 上试用。用户获得足够的积分仅生成一个视频;其余需要每月订阅,起价为每月 8 美元。

然而,愿意在本地运行的人需要一台顶级电脑。“使用 1.3B 模型生成 540P 视频大约需要 14.7GB 的峰值 VRAM,而使用 14B 模型生成相同分辨率的视频则需要大约 51.2GB 的峰值 VRAM,”团队在 GitHub 上表示。

FramePack:优先考虑效率

土豆电脑的用户也可以欢呼,因为这里也有适合你们的东西。

FramePack 提供了一种不同于 Skyreel 技术的方法,专注于效率而不仅仅是长度。使用 FramePack 节点可以以令人印象深刻的速度生成帧——在优化时每帧仅需 1.5 秒——同时仅需 6 GB 的 VRAM。

“使用 13B 模型生成 1 分钟视频(60 秒)以 30fps(1800 帧)所需的最小 GPU 内存为 6GB。(是的,6 GB,不是打字错误。笔记本 GPU 也可以),”研究团队在项目的官方 GitHub 仓库 中表示。

这一低硬件要求代表了 AI 视频技术的潜在民主化,使先进的生成能力触手可及,适用于消费级 GPU。

FramePack 的模型大小仅为 13 亿参数(相比其他模型的数十亿),这使得它能够在边缘设备上部署,并在各行业中更广泛地采用。

FramePack 是由斯坦福大学的研究人员 开发 的。团队包括 Lvmin Zhang,他在生成 AI 社区中更为人知的是 illyasviel,他是许多开源资源的开发影响者,这些资源为 AI 艺术家提供了不同的 Control Nets 和 IC Lights 节点,在 SD1.5/SDXL 时代彻底改变了图像生成。

FramePack 的关键创新是一个巧妙的内存压缩系统,根据帧的重要性优先处理。该系统并不平等对待所有先前的帧,而是将更多的计算资源分配给最近的帧,同时逐步压缩较旧的帧。

在 ComfyUI(用于本地生成视频的界面)下使用 FramePack 节点提供了非常好的结果——尤其考虑到所需的硬件非常低。爱好者们生成了 120 秒的一致视频,错误极少,超越了那些提供优质但在用户推到极限并将视频延长到几秒以上时严重降级的 SOTA 模型。

FramePack 可通过其官方 GitHub 仓库 进行本地安装。团队强调该项目没有官方网站,所有使用其名称的其他网址都是与该项目无关的诈骗网站。

“不要向任何这些网站支付费用或下载文件,”研究人员警告道。

FramePack 的实际好处包括小规模训练的可能性,由于“调度器不那么激进且流动转移时间步长不那么极端”,输出质量更高,长视频中保持一致的视觉质量,以及与现有视频扩散模型(如 HunyuanVideo 和 Wan)的兼容性。

编辑:Sebastian SinclairJosh Quittner

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

OKX:注册返20%
链接:https://www.okx.com/zh-hans/join/aicoin20
广告
分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接