只需要一段笔墨请示就能生成一段60秒细腻综合的视频——本年2月起，文生视频大模子Sora曾在公共东谈主工智能业表里激发升沉。4月27日上昼，在2024中关村论坛年会改日东谈主工智能前锋论坛上，生数科技结合清华大学发布中国首个永劫长、高一致性、高动态性视频大模子——Vidu。Vidu不仅大概模拟着什物理天下，还领有丰富念念象力，具备多镜头生成、时空一致性高档特色kaiyun中国官方网站，这亦然自Sora发布之后公共最初获得要紧闭塞的视频大模子，性能全濒临标外洋顶尖水平，并在加快迭代培植中。

　　据了解，该模子领受团队原创的Diffusion与Transformer交融的架构U-ViT，撑抓一键生成长达16秒、别离率高达1080P的高清视频本色。

　　凭据现场演示的效果，Vidu大概模拟着实的物理天下，大概生成细节复杂、况且合适着什物理法例的场景，举例合理的光影效果、综合的东谈主物神色等。它还具有丰富的念念象力，大概生成着实天下不存在的诬捏画面，创造出具有深度和复杂性的超实际观点本色，举例“画室里的一艘船正在波澜中驶向镜头”这么的场景。

　　此外，Vidu大概生成复杂的动态镜头，不再局限于简便的推、拉、移等固定镜头，而是大概围绕颐养主体在一段画面里就竣事前景、近景、中景、特写等不同 镜头的切换，包括能平直生成长镜头、追焦、转场等效果，给视频注入镜头话语。

　　看成中国自研视频大模子，Vidu还能默契中国元素，大概在视频中生成举例熊猫、龙等畸形的中国元素。

　　值得一提的是，短片中的片断皆是从新到尾联接生成，莫得显着的插帧局面，从这种“一镜到底”的推崇大概猜想出，Vidu领受的是“一步到位”的生成式样，与 Sora同样，从文本到视频的疗养是平直且联接的，在底层算法竣事上是基于单一模子通盘端到端生成，不触及中间的插帧和其他多技艺的处治。

　　据了解，Vidu的快速闭塞源自于团队在贝叶斯机器学习和多模态大模子的长期蚁集和多项原创性恶果。其中枢时间 U-ViT 架构由团队于2022年9月忽视，早于Sora领受的DiT架构，是公共首个Diffusion与Transformer交融的架构，通盘由团队自主研发。

　　“在Sora发布后，咱们发现刚好和咱们的时间阶梯是高度一致的，这也让咱们刚毅地进一步鼓励了我方的磋议。”清华大学东谈主工智能磋议院副院长、生数科技首席科学家朱军说。自本年2月Sora发布推出后，团队基于对U-ViT 架构的深远默契以及长期蚁集的工程与数据证明，在短短两个月进一步闭塞长视频暗示与处治关键时间，研发推出Vidu视频大模子，显赫培植视频的连贯性与动态性。

　　起原：北京日报客户端kaiyun中国官方网站