OpenAI发布首款视频生成模型Sora
OpenAI发布首款视频生成模型Sora
发布时间：2024-02-16 15:59:14来源：逗游作者：逗游网
Alien Hop角色好玩的发布休闲快乐小游戏- 游戏类别：休闲益智
- 游戏大小：0 M
- 游戏语言：简体中文
- 游戏版本：v1.0.0
ChatGPT开发团队OpenAI发布了最新的视频生成模型“Sora”，此模型可以根据文字指令能生成长达1分钟的首款视频生成高清视频，并且有一定的模型“现实模拟”能力，相比制作游戏的发布物理引擎，其上限要高得多，首款视频生成下面带来详细介绍。模型
1.他们能训练出这个模型的发布基础是：找到了一种统一的用文本描述视频材料的范式，得以让大量的首款视频生成视频以及对应的描述材料去训练模型，得到这个模型能力就是模型文本和视觉呈现之间的某种互相生成关系（能力），那如何得到大量带有相应文本字幕的发布视频呢？
他们应用了 DALL·E 3 中的重构字幕技术（原来是针对图片的）到视频。首先训练一个高度描述性的首款视频生成字幕生成器模型，然后使用它为训练集中的模型所有视频生成文本字幕。 可以想见，发布训练及使用模型耗费的首款视频生成算力惊人，所以不太可能在短期内大范围开放；
2.大的模型框架是：扩散模型+时空补丁，基于深度学习的扩散模型，让一个随机噪声分布（指向图像的）转变成有意义的图像或视频内容，而时空补丁，定义了一个时间序列，使画面的的变化符合时间逻辑；
3.Sora 可以采样宽屏 1920x1080p 视频、垂直 1080x1920 视频以及介于两者之间的所有视频。因为是直接生成而不是裁剪视频，在取景，动态效果上也有一定优势；
4.这个模型还有几个出人意料但合理的能力：
a.它可以从一个时间点，向前或者向后去延伸视频，也就是说以某个画面为基点，生成这个时点之前的一段视频或之后的一段视频；
b.自如改变视频的风格和环境；
c.通过插值方式自然的将两个视频连接起来；
d.这一点非常重要，就是这个模型涌现出了一定的“现实模拟”能力，在展示视频中我们看到的不同的镜头运用，包括 3D画面的一致性（比如同一物体因为镜头变化，呈现出的在视觉上保持形状的一致），还包括现实物体的交互（比如要面包后面包上的咬痕）并非刻意设计,或者“建模”的结果，而是自然涌现的，这点我们在纯语言模型上已经见识过了。
而在这个模型上面涌现出的能力，用文章中的原话来描述“是开发物理和数字世界以及生活在其中的物体、动物和人的强大模拟器的一条有前途的道路。”
- ·橄榄油香煎小黄鱼的做法
- ·银河恶魔乡新做《桑塔与七神》30分钟初期流程试玩
- ·《超等机器人大年夜战V》上架Steam开启预购 除东北亚中齐锁区
- ·回回真武侠期间 足游《武侠》四大年夜门派暴光
- ·颇具特色 GEMORE饰品用妄想传递你的美
- ·美国《医学昆虫学杂志》：中美洲多米尼加共和国琥珀中发现迄今已知最早的红细胞化石
- ·网曝漫漫何其多《尽天供逝世》将影视化
- ·黄氏忆人扇蟌：一亿年琥珀中保留了用性感足部求偶的雄性豆娘化石
- ·坚果手机520会员日给你纷比方样的爱
- ·《古脊椎动物杂志》：发现颈椎关节面发生前后倒转的反鸟类——奇异食鱼反鸟
- ·足游《部降特懊终路》6月下旬上线 特性抢先看
- ·广东省河源市恐龙博物馆里的恐龙蛋“美容师”
- ·汽车改色车身降级 驰越世纪
- ·Steam新版游戏库推出后 您的游戏启里可以是静态图了
- ·美国南达科他州恶地国家公园出土的3300万年历史古近纪龟化石将于英国伦敦拍卖
- ·足游《幻斗豪杰》上线期远 奥秘支场动绘暴光