舞蹈怎么freestyle(freestyle舞蹈技巧)

机器心专栏机器心编辑部
懂自由泳的AI来了。给定起始动作和音乐，新方法DanceNet3D可以生成与音乐合拍的流畅优美的舞蹈。
最近的AI舞蹈生成技术挑战赛，有你方唱罢我登场之势。Google的AI编舞刚刚上线，就迎来了一个强劲的对手，——DanceNet3D。我们先来看看演示：
DanceNet3D是由叶辉科技、北航、港中文MMLab学者联合推出的高质量3D舞蹈动作生成算法。给定初始动作和一段音乐，算法可以生成与音乐合拍的流畅优美的舞蹈。该算法结合了动画行业叶辉技术的技术经验，采用了人体运动关键动作——中间运动参数曲线的表达形式，为运动生成建模提供了一种全新的思路。与其他运动生成方法相比，该方法在生成效果上具有明显的优势。此外，作品还提出了首个由专业动画师团队创作的高质量舞蹈数据集PhantomDance。这个数据集收集了Niconico和YouTube上的300种流行舞蹈，包括宅舞、嘻哈、爵士、老派和其他风格。由专业动画团队在专业舞者的指导下完成，耗时18个月。相比目前学术界从动作捕捉或实景舞蹈视频进行三维重建的算法，PhantomDance在音乐搭配、动作优雅、艺术表现力等方面具有绝对优势。目前，该团队已经公开了100个舞蹈音乐数据对，这些数据对构成了幻想曲100个。
地址：https://arxiv.org/abs/2103.10206项目和数据集地址：https://huiye-tech.github.io/project/dancenet3d/两阶段舞蹈生成框架由于数据基本来自于运动捕捉、3D重建、舞蹈合成，甚至运动合成更广泛的研究领域，因此问题往往被建模为逐帧输出骨骼参数(位移和旋转)。然而，在实际的3D动画行业中，无论是动画软件Maya和Blender，还是游戏引擎Unity3D和Unreal，都是通过曲线来编辑和表现角色的动作。这里的曲线是指以位移(t_x，t_y，t_z)和转动(r_x，r_y，r_z)各维为纵轴，时间为横轴的函数曲线。一般动画师会先制作一系列关键帧来确定动作的主要形式，然后通过曲线编辑器调整具体参数的曲线形状来完善动作细节。受此启发，DanceNet3D提出了两阶段舞蹈生成框架key pose)-in-between运动曲线，如下图所示。
每个阶段都采用类似的编解码结构，使用攻击性训练的训练模式，如下图所示。
编码器部分采用常见的变压器模型，而解码器部分则是本研究所提出的MoTrans模型。MoTrans是对NLP领域传统变换器进行运动合成的精心改造，其核心由运动链网络(图中的KCN)和已学习的局部注意机制(LLA)组成。接下来，让我们分别看看KCN和LLA。KCN是以SMPL模型的24个关节作为操作节点的图形神经网络(GNN)的变体。不同于常规GNN的操作，KCN在仿真机器人控制理论中采用了正向运动学和反向运动学的网络操作方式。通过线性层将节点特征映射到运动学控制空间后，先将特征参数从根节点传播到叶节点，沿路径进行特征融合，然后再从叶节点到根节点再次进行类似操作，如下图所示。
传统transformer中的注意力属于全局注意力，即一个查询对所有键进行内积，对所有值进行加权求和。而人的运动是有明显的局部性的，某一时刻的姿势与其在近时间的姿势和动作有很强的相关性，而与远时间关系不大。举个例子，十秒钟前，角色举起双手，而在当前时刻，他可能会举起双手，放下双手，甚至坐下。根据这一特性，DanceNet3D在解码器中引入了具有可学习核函数的LLA模块，如下图所示。
值得一提的是，由于注意力的输入来自于KCN的输出，并以关节点的形式排列，这自然符合原《变形金刚》中多头的思想，因此在DanceNet3D中将每个KCN输出的节点作为一个头，采用线性投影进行并行运算。由于关注后的fead-forward运算仍然使用KCN模型，省略了原来多头关注中的最后一个concat运算和线性运算，在相同的头数下减少了计算量。研究者称之为结构化多头注意，以节点作为头的定义，比原来的多头机制更具物理性。实验和结果进行消融实验以验证曲线建模的有效性，KCN和LLA:
之后，在AIST和PhantomDance数据集上的对比实验表明，DanceNet3D相对于包括Google的AI编舞在内的其他作品具有显著的优势。