谷歌推出最新AI扩散模型Lumiere：可将文字转化为连贯的动作视频
来源：克罗米小站官网2024-01-29
谷歌推出最新AI扩散模型Lumiere：可将文字转化为连贯的动作视频。谷歌推出的AI扩散模型Lumiere将为我们打开全新的视觉世界。它让我们能够通过文字来创造和表达丰富多样的动作视频，从而改变我们与视频内容的互动方式。随着技术的不断进步和应用场景的拓展，我们期待看到更多由Lumiere模型带来的创意和惊喜。
谷歌推出最新AI扩散模型Lumiere：可将文字转化为连贯的动作视频
谷歌表示，业界绝大多数“文生视频”模型无法生成时间长、质量佳、动作连贯逼真的内容，这是因为此类模型通常“分段生成视频”，首先产生几张关键帧，接着用“时间超级分辨率（Temporal Super-Resolution）”技术，生成关键帧之间的视频文件，这种方法虽然能够节省 RAM，但难以生成“连贯逼真”的视频。
谷歌提到，他们的新模型 Lumiere 相对于业界模型最大的不同是采用了全新“Space-Time U-Net”基础架构，该架构能够在空间和时间上同时“降采样（Downsample）”信号，从而在“更紧凑的时空中进行更多运算”，令 Lumiere 生成持续时间更长、动作更连贯的视频。
本站注意到，Lumiere 一次可以生成 80 帧视频（16FPS 下 5 秒视频 / 24FPS 下约 3.34 秒视频），虽然这一数据看起来很短，不过研究人员提到，5 秒视频长度实际上“已经超过大多数媒体作品中的平均镜头时长”。
除了应用“Space-Time U-Net”基础架构外，谷歌还介绍了 Lumiere 的基础特性，该 AI 建立在一个经过预先训练的“文生图”模型基础上，研究人员首先让基础模型生成视频分帧的基本像素草稿，接着通过空间超分辨率（SSR）模型，逐步提升分帧分辨率及细节，并利用“Multidiffusion”通用生成框架提升模型稳定性，从而保证了最终输出的视频一致性和连续性。
上述就是浏览器之家分享的【谷歌推出最新AI扩散模型Lumiere：可将文字转化为连贯的动作视频】全部内容，感谢大家的关注和阅读！
