NeurIPS 2019：英伟达展示基于AI的自动编舞软件

（题图 via Neowin）

不过本文要为大家介绍的，则是英伟达在 NeurIPS 2019 上推出的一种基于深度学习的新模型。它能够根据输入的音乐，自动生成合适的舞蹈动作。

这款由加州大学和默塞德大学合作开发的能够自动编舞的软件，亦被称作 AI Choreographer 。

尽管表面上看起来并不难，但研究团队注意到：测量音乐和舞蹈之间的精确相关性，仍需考虑诸多的变量，比如音乐的节拍和风格。

为此，研究团队收集了三种具有代表性的舞蹈类别，分别是芭蕾舞、尊巴舞、以及嘻哈。在分析了 36.1 万段舞蹈剪辑后，研究人员再通过训练系统来使用对抗网络（GAN）。

作为分解合成框架的核心组件，GAN 的复杂程度如上图所示（来自：GitHub）

自上而下来看，团队借助运动节拍检测器，对从实际舞蹈序列中切割出来的各个单元进行归一化，然后训练 DU-VAE 对舞蹈单元进行建模。

编舞阶段，需给予其一定的音乐与舞蹈数据源，然后借助 MM-GAN 学习如何根据特定音乐来编排各个小节。

测试期间，研究人员从音乐中提取了样式和节拍，然后以循环方式合成一系列舞蹈单元，最终套上节拍整形器进行梳理输出。

为了训练模型，研究团队使用了 PyTorch 深度学习框架和 Nvidia Tesla v100 GPU，辅以 OpenPose 执行姿势处理。

后者是一种实时多人系统，用于联合检测单个图像中的人体、手部、面部和足部的关键点。

展望未来，Nvidia 计划将这套方法拓展到其它舞蹈风格，比如流行舞和伴舞。NeurIPS 会议结束后，相关源码和模型将在 GitHub 上发布。

相关文章:

Nvidia研究人员提出用2D图像生成3D对象的渲染框架的方法

家乐福被裁员工曝未拿到补偿金，此前通知补偿金打6折一次性发和全款分12期之间二选一

发布于：2023-08-01T01:18:01Z | 205次阅读 | 详细内容 »

发布于：2023-08-03T01:55:09Z | 202次阅读 | 详细内容 »