新算法使用几段文本来创建视频,这部电影可能

 行业动态     |      2023-03-10 17:17

  无法与著名电影制片厂合作并且无法获得大量预算和强大资源的电影编剧可能很快就会有另一种制作电影的方法 - 因为最近开发的算法可以分析一个(非常简短的)脚本,因此创建相应的视频短片。尽管这些由算法制作的电影仍然远离奥斯卡电影,但它们的应用程序场景不仅限于电影业。例如,警察可以使用类似的计算机技术来恢复证人认罪的车祸或犯罪现场的现场。

  目前,人工智能(AI)在识别图像的内容并提供标签方面取得了重大进展。但是,相关的“生成”算法确实可以构建图像。例如,某些“生成”算法可以分析电影的屏幕截图,以推测情节的开发。但是,将这些技术组合起来并不容易 - 首先,您需要从文本中构建图像,然后根据文本 - 该计划实际上描述了图像中的对象。

  “据我所知,这是第一种在文本转换视频中许多尝试中带来如此良好效果的算法。该算法产生的结果并不完美,但至少它们看起来很真实。视频。比利时Lenu大学的计算机科学家评论说:“这是一个很好的结果。” Tuytelaars目前致力于视频预测。

  这种新算法是一种机器学习,这意味着它需要培训。具体而言,这是一个神经网络,由多层次计算节点组成,并以类似的方式处理数据,以通过人脑神经来处理信息。在“训练”过程中,该算法将记录每个计算后的正确性,并将使用记录的结果来改善网络中节点的权重,并努力更准确地找到未来的计算。

  该文本 - 视频转换神经网络的操作由两个阶段组成。研究人员将他们的思想描述为“模仿人类艺术创造的过程”。第一阶段是完善文本并创建视频内容的“轮廓”,即创建视频背景的模糊模式,以及基于文本描述的简短动作过程。在第二阶段,神经网络的作用是“标识符”。例如,上一阶段的算法产生了“在海中驾驶”的视频。该视频放置了实际的海上导航视频的视频,让标识符选择哪个视频是真实的。经过几轮训练,作为“标识符”的算法将变得更加谨慎,其反馈也为“一代”算法生成的视频提出了更高的标准。因此,“一代”算法可以逐渐生成更多的细视频。

  研究人员在算法上训练了10个场景,包括“在草地上打高尔夫球”和“海上冲浪风筝”。这些算法根据文本生成了带有大噪音的VHS视频材料。然而,研究人员在路易斯安那州新奥尔良的人工智能协会的报告中说。一半的选择结果是正确的(但是“帆船”和“风筝冲浪”通常很困惑)。此外,该算法还可以创建一些“不合理的行为”,例如“在雪中驾驶”和“在游泳池中打高尔夫球”。

  “他们将此方法结合在一起,分为两个阶段,这非常有趣。”还进行了视频预测研究的Hamed Pirsiash说:“这是一个非常困难的问题,我很高兴看到这些人获得这些人。进步良好。”

  目前,这些算法创建的视频仅为32帧-abib of One秒 - 只有64×64像素,大约是邮票的大小。 《杜克大学Yitong Li》算法论文的第一作者说,更大的分辨率和更长的视频长度将降低准确性。同时,由于视频中产生的人体形状非常扭曲,因此他将使用人骨模型来改善视频的运动。

  Tuytelars预测,该算法在好莱坞外有很多应用程序场景。视频生成算法可以使电影的存储更高,或者可以为其他机器学习算法生成培训数据。例如,更多的真实视频可以训练在一般情况下难以遇到的危险道路条件。皮尔西亚瓦什(Pirsiavash)还说,可以深入了解视觉世界的程序可用于开发一系列有用的应用程序,例如竞赛裁判来进行视频监视。他们可以在预测自动驾驶汽车的道路上帮助摩托车,或者训练家用机器人打开冰箱。

  由AI创建的好莱坞大片可能离我们很远,但是随着视频行业中AI的发展,我们最终可以知道“草中的风筝冲浪”是什么样的。

  报告/反馈