URL2Video流水线 网页端自动创作视频的实现-ESG跨境

URL2Video流水线 网页端自动创作视频的实现

URL2Video流水线 网页端自动创作视频的实现

在音乐创作、视频重构和绘画等多媒体内容制作时，由机器学习和计算方法驱动的创意工具能够提供多种实用功能。

·绘画

https://ai.googleblog.com/2017/04/teachingmachinestodraw.html

目前，Google正在积极探索这些创意工具的应用途径。视频制作这一创意过程尤其能从此类工具中获益，因为过程中需要做出一系列决定，如：目标受众更适合什么样的内容、如何在场景中布置素材资源视觉上会更好，以及怎样的时间安排能产生最吸引人的叙事……

不过，能否利用现有素材资源更高效地进行视频创作企业的网站通常以丰富视觉表现描绘其服务或产品，这些视觉表现都可以重新用于其他多媒体格式，比如视频，因此在资源有限的情况下也有可能覆盖更广泛的受众。

我们在发表于UIST 2020的“在网页中进行自动视频创作实验(Automatic Video Creation From a Web Page)”中介绍了URL2Video，这是一个研究原型流水线，可以让作者在快速和可视化下将网页自动转换为短视频。URL2Video从HTML中提取素材资源（文本、图像或视频）及其样式（包括字体、颜色、图形布局和层次结构），并将素材资源组织成一系列镜头，同时保持与页面相似的观感。当用户指定的长宽比和时长，它就会将重新利用的素材渲染为适合产品和广告的视频。

·在网页中进行自动视频创作实验

https://research.google/pubs/pub49618/

URL2Video概览

假设用户提供了业务介绍网页的网址(URL)。URL2Video流水线将根据一套启发式方法，自动从页面中选择关键内容，并决定每个素材资源的时间和视觉表现。这些启发式方法由熟悉网页设计和视频广告创作的设计师通过访谈研究提供基础信息，具有常见的视频编辑样式，如内容层次结构、约束镜头中的信息量及其时间长度、为品牌提供一致的颜色和样式等。URL2Video流水线利用这些信息解析网页、分析内容和选择视觉上突出的文本或图像，同时保留其样式，并根据用户提供的视频规范进行整理。

URL2Video从输入网页中提取结构内容和设计，做出自动编辑决策，在视频中呈现关键消息。用户定义的输出视频的时间（例如，以秒为单位的时长）和空间（例如，长宽比）约束均为考量因素

网页分析

给定网页网址，URL2Video可以提取DOM和多媒体材料。出于研究原型的目的，我们将域限制为包含突出的素材资源和标题的静态网页。这些素材资源和标题保留在遵循最新网页设计原则的HTML层次结构中，最新原则鼓励使用突出的元素、不同的部分和视觉焦点顺序引导读者感知信息。

·网页设计原则

https://material.io/design/usability/accessibility.html#hierarchy

URL2Video将这些视觉上可区分的元素标识为素材资源组的候选列表，每个素材资源组都可能包含一个标题、一个产品图像、详细描述和行动号召按钮，并捕获每个元素的原始素材资源（文本和多媒体文件）和详细的设计规范（HTML标记、CSS样式和渲染位置）。然后，它再根据素材资源组的视觉外观和注解（包括其HTML标记、渲染大小和在页面上显示的顺序），通过为每个素材资源组分配一个优先级分数进行排名。这样一来，占据页面顶部较大面积的素材资源组就会得到较高的分数。

基于约束的素材资源选择

在制作视频时我们考虑两个目标：

1.每个视频镜头都要提供简洁的信息；

2.视觉设计要与源页面保持一致。

根据这些目标和用户提供的视频约束，包括预期的视频时长（以秒为单位）和长宽比（通常为16:9、4:3、1:1等），URL2Video会自动选择和排列素材资源组，优化优先级总分。为了使内容简洁，它只呈现页面中的主导元素，例如标题和一些多媒体素材资源。它会约束每个视觉元素的持续时间，以便观众感知内容。这样，一个简短的视频能够强调页面顶部最突出的信息，而一个较长的视频则包含更多的广告系列或产品。

场景合成与视频渲染

给定基于DOM层次结构的有序素材资源列表，URL2Video遵循从访谈研究中获得的设计启发式方法，做出有关时间和空间安排的决策，在单个镜头中呈现素材资源。它将元素的图形布局转换为视频的长宽比，并应用包括字体和颜色在内的样式选择。它还会调整素材资源的呈现时间，使视频更具动感和吸引力。最后，将内容渲染为MPEG4容器格式的视频。

用户控制

在研究原型的界面上，用户可以查看从源页面提取的每一个视频镜头的设计属性、重新排列素材、更改颜色和字体等细节设计并调整约束，生成新的视频。

在URL2Video的创作界面（左）中，用户指定源页面的输入网址、目标页面视图大小以及输出视频参数。URL2Video会对网页进行分析，提取主要视觉组件。它构成一系列场景，将关键帧可视化为故事板。这些组件被渲染至满足输入时空约束的输出视频。用户可以播放视频，检查设计属性（右下），并进行调整以生成视频变化，例如重新安排场景顺序（右上）

URL2Video用例

我们在多种现有网页上演示了端到端URL2Video流水线的性能。下面我们重点介绍一个示例结果，其中URL2Video将一个嵌入多个简短视频剪辑的页面转换为一个12秒的输出视频。注意流水线如何在捕获自源页面的视频中，对字体和颜色选择、时间和内容顺序做出自动编辑决策。

URL2Video从我们的Google搜索介绍页面（上）识别关键内容，包括标题和视频素材。同时考虑呈现流、源设计和输出约束，将它们转换为视频（12秒的横向视频；下）

为了评估自动生成的视频，我们与Google的设计师展开了一项用户研究。研究结果表明，URL2Video从网页中有效提取了设计元素，并通过引导视频创作过程为设计师提供了支持。

未来计划

虽然当前的研究重点是视觉呈现，但我们也在开发支持视频编辑中的音轨和配音的新技术。总而言之，在我们设想的未来中，创作者可以专注于高级决策，由ML模型交互式地建议详细的时间和图形编辑，最终实现多平台的视频创作。

致谢

我们非常感谢我们的论文合著者Zheng Sun(Research)和Katrina Panovich(YouTube)。我们还要感谢为URL2Video做出贡献的同事：Jordan Canedy、Brian Curless、Nathan Frey、Madison Le、Alireza Mahdian、Justin Parra、Emily Ryan、Mogan Shieh、Sandor Szego和Weilong Yang（按姓氏字母顺序排列）。我们非常感谢领导层Tomas Izo、Rahul Sukthankar和Jay Yagnik的支持。

特别声明：以上文章内容仅代表作者本人观点，不代表ESG跨境电商观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与ESG跨境电商联系。