本论文的第一个网易游学APP (原网易游戏学院) )。
GDC是世界上最具影响力的游戏开发商会议，举办了35届，今年于3月21日至25日在旧金山举行。 互联网娱乐今年12位大咖9大提案将进入GDC非赞助类演讲，包括1个核心演讲和8个主题峰会演讲，一起来看看身边的提案和大神风采吧！
一.技术概述
标准情景动画的设计通常是由游戏设计师构建故事，然后由资源制作组根据故事制作动画。 但是，这个动画的设计过程往往需要多次的沟通和修改。 制作的动画不一定能满足游戏设计师的想法，所以这个过程会浪费很多时间和精力。
提高为了角色动画制作中的交流与开发效率，提出了一种资源依赖度低、使用方便的过场动画预览工具。 该工具包含五个插件，您可以根据游戏场景一键生成配音和动画原型。 游戏设计师们可以通过这些插件轻松构建原型，用于交流和修改。 该工具可以有效减少资源浪费，便于情景动画开发过程中的交流和协调。
当前提出的四个插件都连接到Messiah和Montage方案编辑器，每个插件也可以单独拆分以服务相应的功能。
目前，程序正在被GDC2023的tool submit接收。
3359 schedule.GD conf.com/session/tools-summit-an-easy-to-use-cut scenes-preview-tool-with-low-re SSE-re
33559 www.gdc vault.com/play/1027946/tools-summit-an-easy-to
二.问题背景
方案的设计往往需要大量资源的准备，但每次方案的迭代都会带动大量资源的变更。 传统的情景动画设计，首先策划制作完整的情景，确定每个角色和白色标记对应的情感，然后分别由美术和语音同学进行动画和语音配音，再拼接成完整的情景动画但是，在很多情况下，这个过程需要多次沟通和修改，也可能因为剧本的问题而不得不推翻，这带来了资源的浪费。
传统情景动画制作流程
完整的情景动画设计中包含了重复的部分，包括剧本创作、情景情感识别、配音、嘴皮子、嘴皮子动画、表情与动作、站位场景等。 现有成熟的AI技术在理论上已经可以处理情景情感识别、配音、嘴炮视频、表情和动作部分，但还需要适应实际项目的一些其他问题，如情景数据区域、配音情感处理、不同游戏的视频设计等
总的来说，情景动画制作在实际项目中面临以下问题：
情景工具对于非专家的入门非常困难，反复修改情景会造成资源的浪费；
剧本比一般的自然文本短，语境相关性强，即使是同一个词，不同的语境也会有不同的感情，即使是同一个人，不同的人也会有不同的感情，还存在游戏风格类型的文本风格匹配问题；
配音多关注情感表达，语音合成技术在情感表达上也需要依赖大量的注释数据，还存在音色转换等问题
口型动画通常是一项繁琐、重复性的工作，一般在早期的情景动画设计中没有涉及，因此缺乏很多角色表现力
表情和动作也是角色表现力的体现，初期缺乏影响情景动画原型的质量，无法更直观地表达成品，设计师们可能对后续情景动画的迭代细节把握不够。
为了缓解上述问题，我们借鉴CG制作过程中的镜像划分概念，借助情景动画原型介入情景动画的制作过程。 并期望情景动画的原型在制作过程中，游戏设计师们可以自行调整到自己满意的程度，然后进行进一步的沟通和制作，很好地避免时间和资源的浪费。
游戏设计师可以自己调整，便于后续资源的准备和交流
同时为了方便和方便使用，该工作提出了情景动画自动化生成AI工具包，一键生成情景原型，可以使情景动画原型更接近成品。提高情景动画设计过程中的开发与沟通效率。 该工具包集小说剧情、剧情情感识别、情感语音合成、口形动画和表情动作四大插件于一身，不仅一键即可建立剧情原型，而且每个插件都单独拿出来对应场景
剧本自动化生成AI工具包可以直观地展示游戏设计师前期的剧本设计，设计师自己调整剧本的内容和效果，通过使用生成的原型与资源负责人的同学进行交流，达到资源浪费的目的而且其中的口型动画达到了可以直接使用的程度，减轻了美术同学的工作。
三.技术实现
在CG制作的启发下，CG制作首先让设计师制作原型，一般通过漫画、分镜、故事版等表现，然后针对原型准备资源，最终完成完整的CG。 其中的原型产生了非常重要的效果，资源同事可以非常清晰地明确整个CG的过程和细节。
这意味着您也可以在创建情景动画时使用原型。提高的制作效率。 由于情景动画通常是利用游戏的角色资源制作的，所以情景动画的原型希望能够制作得更加直观、简单，让游戏设计师可以自己制作。 为此，提出了一个情景动画自动化生成AI工具包，其中包括小说剧情推理、情景情感分析、情感可控语音合成、嘴型表情动画合成四个顺序插件。 每个插件都是互补的，也可以单独拿出来作为插件。 即插即用。
情景动画自动化生成AI工具包流程图
总的来说，我们的情景视频生成方案包括五个插件。 是小说续集、小说剧本的转换、剧本情绪分析、情感可控语音合成、口型表情动画合成。 各个插件可以互补，也可以单独拿出来作为小零件。 即插即用。
方案的总体流程如下：
首先输入小说或片断的开头，小说续写模块就可以在空中飞行到无限长。
然后，基于输入或产生的小说形式的文本，通过小说旋转剧本模块，变换为节点图，如“角色：白”。
得到节点图后，通过情景情感识别模块，逐句提取对应的情感。
将角色、台词、感情输入语音合成模块，输出带有感情的配音合成文件。
口型表情动画模型自动定位配音和台词，合成对应的口型动画，同时利用情感结果生成对应的表情动画。
以下是除第一个步骤以外的4个步骤的一键生成示例。 它们分别集成在内部的Montage和Messiah方案编辑器中。
四.增效介绍
1 .小说的后续
继续书写输入的小说片段。 以下是一个示例，可以生成各种连写结果：
示例1 :
输入：经过几番修炼，叶凌天的虚灵神掌已经修炼神化
1 .不仅能使身体发光，还能用掌法达到另一种境界，可以自由撒上，威力也大幅提高。 这一瞬间，他的手上闪耀着灵纹。 所有的灵纹都是用纯正的银色文字做成的。 灵气充沛，精力充沛，似乎已经拥有了生命。 就像生物一样在他的手里跳跃挣扎着。 这是极其高深莫测、堪称逆天的武道秘法！ 叶凌天的心浸了进去，他身体内部仿佛有生命，每一个毛孔都开始吸取天地间的灵气和精华，然后随着时间的推移，他觉得自己仿佛与外界产生了共鸣，就像一个孩子在呼吸，不知道是什么原因，但他这一天，叶凌天再次来到了制符室。 这里还在石屋里面，但是形成了很多空的大厅。 “师父，今天可以进来吗？ “”他笑着看着站在大厅里的大师，声音很平静。 ‘当然！ 请记住，现在正是修炼的关键时刻。 贪欲之功不可冒进。 不能为了修炼而忽视这个。’ 听到这句话，叶凌天心情舒畅，脸上也浮现出兴奋之色，不由得大声说道：“徒弟知道了！ ”。 “嗯，我知道了！ ““大师，你现在掌握了‘随心所欲’的技术吗？ ‘ ‘ .
2 .现在他的肉体经脉已经完全恢复，可以使用真实的空气，但这种状态需要消耗很多能量。 虚神掌是武者必修的，其实力多在肉体上。 肉体达到极限后飞跃成长，随着武者领域的上升，肉体的力量也变成(提高 )。 这是因为每一步都伴随着巨大的利益，但这次精血有问题。 所以，虽然这次的提高是有极限的，但是他的虚灵神掌也可以进阶。 “科尔！ ”叶凌天深深地吸了一口气，准备好了第二炉的灵材，开始搅拌。 此时天色已经晚了，他把手中的灵材投入火堆，然后盘膝而坐，静静地等待提炼的成功。 在他灵魂的海洋里，现在凝聚着银色的纸团。 那是一张能鼓舞人心的银色纸，但是因为咒语很多，所以没有什么攻击力。 但是在他修炼的时候，那些纸自动飞到他的体内，被他吸收，变成纯净的真气流入丹田，滋养经脉，同时，他也在不断地消耗着那些咒语的力量，让自己变得更加坚强。 就这样过了十天，叶凌天终于完成了最后一道工序，接下来是第三炉灵料的煎制，这炉药材用来制作“百灵丸” .
3 .此时，他体内的真气澎湃，气势磅礴，像是要爆炸的样子，但他的心境也在逐渐恢复。 “这次终于变成‘虚灵掌’了吗？ ‘叶凌天叹了一口气。 他已经完全适应了虚灵神掌所具有的威慑力和对其掌握程度的感悟。 现在的掌法和功法合作，使他的实战水平提高了几个水平。 这让他确信自己的武功修养还有提高的可能性，但他还是有点担心。 结果，这样的话，自己就不用再随心所欲地握着手掌了。 这一刻，叶凌天期待着与下一个人的战斗。 起初，他甚至怀疑自己是否真的能把《虚灵掌》练到大成的境界。 这是他怎么也想不到的事情。 “我习惯了这个功法！ “”叶凌天深深吸了一口气，眼中闪烁着睿智的神采，喃喃道，然后开始准备造纸和墨。 他的目标是那三种灵材。 他之所以这样决绝，是因为那三种灵材，一旦出现，恐怕会引起其他门派的觊觎，到时会为各势力的疯狂所追逐，对他来说，不是好事，反而是很大的危险。 所以，在现在的形势下，他必须低调行事.
示例2 :
此时，乔峰三处伤口血流如注，抱着小朱的左手已经无力，一被长绳卷起，小朱马上滚到地上。 但大家都看到，长绳子那边是一个穿着黑色衣服的大汉，站在屋顶，身材魁梧，脸蒙着黑布，只有两只眼睛。
1 .乔峰马上扶住阿朱，“阿朱！ 你没事吧？ ‘“没关系。 “”朱弱说了一句话，再次昏迷了。 她身边的乔峰阴沉地看着黑色的衣服。 此时，他的伤势比刚才还重一分，但因为有长长的绳子来牵引，乔峰不需要移动灵元，只是用强横的实力拖进了地下，随后，那黑衣人带着阿朱走出了这个小房间，在外面徘徊。 “你们是谁？ “”乔峰冷冷地问。 他现在心情很不好。 他已经在这里战斗了几个小时，对方始终没有透露身份，甚至不知道自己遭遇了什么，这让他很郁闷，更让他感到愤怒的是对方如此镇静，不仅如此，他还轻易把他们俩打成重伤.
2 .大家看了都吓了一跳。 这个黑衣大汉的修为也是三重天壤之别，他能独敌二，只以这一修为实力实属不易。 这时，他们身边还有一个小女孩，她是乔峰的女人。 “朱小姐！ ”乔峰惊讶地叫了起来，眼睛瞪得圆圆的，脸上都是难以置信的表情。 只见阿朱血淋淋地躺在地上，脸色苍白如纸，空气如游丝，似乎已经受了不轻的伤。 这一瞬间，她几乎要晕倒了，但他什么也做不了。 “我没事。 小朱，你先起床吧。 还有话吗？ “”乔峰抱着阿朱放下，语气平静地说。 我已经不知道这句话的意思了。 他现在知道对方的实力。 这样的强者自然不会轻易放过自己等。 但如果这个黑衣大汉真的想杀了他们，他就不能如他所愿。 像这样.
3 .大家都吓了一跳，心里有点心惊。 这件黑衣巨汉的实力超出了他们所有人的想象，即使是乔峰也无法轻易应对对这个人的攻击了。 “伙计，你在干什么？ ‘那个黑衣大汉看到身影不由得用冰冷的声音问道。 乔峰听了只是笑了。 “你们真的变得自己天下无敌了吗？ 告诉你们，这里是我的家，而且是你们这些土房子。 现在，小朱已经是我的女人了。 我死了，她也是我的女人。 至于你们，哼，我乔峰不怕你们。 “”“随便你！ “”黑衣大汉生气了，“只要你能来我家，老妇人就会帮你的！ “”话一落，他一拍即合。 突然，气势如潮水般涌来，就这样朝着Jopon拍摄。 好像是打算镇压对方之后再说话。 这掌势如雷，速度极快，连屋顶都被掌上风吹着.
2 .将小说转化为剧本
对小说形式的文本进行说话人和对白提取，转化为白节点图，便于后续的分析和处理。
输入
输出功率
3 .情景情感分析
对剧本中的所有句子进行自动情感分析。
情景游戏( RPG、AVG等)的游戏情景中往往存在对话文本。 为了准确把握角色当前的情感，作为游戏中角色表情和动作的标准，游戏策划需要在阅读整个剧情后逐词标注情感，费时费力。 互娱AI Lab开发了剧本情感识别系统，根据剧本中角色的对话自动识别当前角色的情感。提高游戏开发效率。
目前，normal (无情绪)、serious (认真)、happiness )、sadness )、悲伤)、fear )、embarrassed )、尴尬/尴尬)、anger )
4 .语言间控制说话人情绪进行语音合成
通过一定量的情绪语音和语际词汇实现语际说话人之间情绪可控的语音合成，通过情绪控制变量丰富语音合成结果的表现力。
5 .嘴巴表情视频
通过自动化的语音-文本对齐技术、口型动画合成技术、情感表情生产技术，一键生成丰富的角色表现效果。
五.致谢
感谢Messiah和Montage剧情编辑器的大力支持，也感谢天下3、梦幻西游、明日之后、荒野行动等游戏的资源支持。
