sora软件是什么 Sora的技术路径一图览[多图]

大多数人不知道query的技术方法，如果想知道query是什么，您可以查看下面的游戏鸟以更好地了解query的技术方法

这是索萨的技术路线

昨天，OpenAI发布了视频渲染模型query，最大的查询模型创建了一个分钟的高清晰度视频占位符，并且OpenAI是一个可扩展的视频渲染模型，它是物理世界的通用模拟器

问题:1920*1080的视频可以生成1080*1920的视频和所有内容之间的所有内容，从而使问题与不同的视频回放设备兼容，并根据特定的比例嵌入视频影片制作区域

技术报告:https://open ai . com/research/video generation models as world仿真器测试

技术阅读

魔鬼兵团的开发人员也讨论了索萨的技术报告

这是索萨的技术地图

问题模型的核心技术点(红色标记)

视讯压缩网路

OpenAI训练一个减少视觉资料大小的网路，这个网路会接受原始视讯做为输入，并显示在时间与空间中压缩的可能迹象补丁程序是从大的语言模型中获得灵感的，大的语言模型成功的30个大的语言模型具有文本标记，并且在以前的操作(如剪辑)中具有query的可视部分(补丁程序)，OpenAI实现了拆分部分是视觉的最有效表示16字:用于图像识别的属性转换程序缩放比例。)这个技术途径是视频压缩30时空被分成了炸药

此方法也适用于将影像视为单一影格的影像；根据补丁程序的表示方式，允许query采用不同的分辨率、时间和比例来学习视频和图像；曼托30

技术难点:视频压缩网络模拟潜伏扩散模型中的VAE，但是压缩率必须更好地保护视频功能并进行更多的研究

2.用于视频渲染的可缩放转换

「问题」输入的杂讯区块+文字提示具有一个可预测原始「干净」区段的「问题」比例他们是变形人。变形金刚在大型语言模型中具有可扩展性，我们相信OpenAI主要语言模型中使用的许多技术都在研究这个问题

OpenAI在query的研究中发现，作为视频创建模型，diffusion transformers具有很高的可扩展性

技术难题:如何对可扩展转换器进行有效的第一步补丁程序培训context (1分钟视频)支持如何确保错误累积时间、视频实例的高质量和一致性条件、影像条件、文字条件、多重模式支援等

3.语言的理解

OpenAI发现，在这里，学习文本需要大量视频，并带有适合于视频创建系统的文本标题。OpenAI会去DALL·E ETRR「标题制作」技术(如3所述)用于视讯领域，并提供高解析度视讯标题制作训练(视讯)FLVPlaybackCaptioning模型可以为所有的视讯教学资料建立高品质的文字标题，并在高品质的教育资料与文字(提示)和视讯资料之间，以视讯文字的形式接受训练

技术挑战:高品质的视讯撷取模型需要大量高品质的视讯资料，包括训练、撷取及标记资料，以及各种视讯资源、影片、文件、游戏、3D引擎

4.世界模型，模拟的力量

在大规模的训练中，这是一个有趣的「模拟」，可让测验模拟真实世界中的人、动物和环境的某些方面，模型的参数足够大

在这些技能中

三维一致性问题当动态相机运动的视频移动和旋转时，字符和场景元素在三维空间中的移动是一致的

远距离一致性和对象的持久性对于视频创建系统来说，一个很大的困难是在对长视频进行采样时保持连续，例如，我们发现query通常可以有效地模拟短距离依赖关系

与世界互动问题可以简单地模拟影响世界状况的行为，例如，一个画家可以在画布上留下新的笔触，然后随着时间的推移继续进行，或者一个人可以吃汉堡，留下咬人的痕迹

数位世界模拟该问题还可以模拟人工操作，例如，查询电子游戏、使用基本策略控制Minecraft的玩家，以及通过提示以高分辨率显示世界动态

这说明了，随着这一切的发展，索萨可能真的是世界的典范也许在很遥远的未来，黑客帝国，科幻电影

技术难题:大型模型、高计算能力、大数据

总节点

从问题模型的技术报告中可以看出，问题模型是建立在OpenAI的一系列可靠的历史技术研究之上的:不是视觉上的理解，而是变压器模型视频b字幕(达尔·埃特勒)3)请稍候，正如社群开发人员所说，虽然OpenAI技术上的细节太多，但这是因为它绘制了一个模糊的路径来建立视讯