网易&迪生| 挑战25人同场实时动作捕捉，共同构想技术可行性

峰顶风景

网易作为国内领先的互联网技术公司，不仅在互联网开发、服务与技术等方面保持业界领先地位，而且具有前瞻意识。在评测过动作捕捉对于游戏制作的优势后，层层筛选最终选择与拥有多年国际先进虚拟制作技术经验和本地优质服务的北京迪生数字娱乐科技股份有限公司（简称：迪生数字）进行合作，并搭建了国际顶尖的NETEASE CAPTURE 动作捕捉工作室。



网易动捕场地

本着对动捕产品的热情和技术创新的执着，网易互娱动捕中心与迪生携手并进，于2021年11月13日在广州网易互娱动捕中心联合完成了国内首次大型动捕技术全新挑战——25人同场实时动作捕捉，最终获得惊人的视觉成果，成功刷新了英国屡获殊荣的著名视效公司Audiomotion Studios于2015年3月9日创造的19人同场实时动作捕捉的吉尼斯世界纪录。

25人动作捕捉
https://www.zhihu.com/video/1463821866938499072



吉尼斯纪录

一直以来，网易互娱动捕中心秉承对动画品质和制作流程的极致追求，在此次技术挑战中，对迪生技术团队提出了更高要求。迪生则基于对动捕技术二十多年的深度探索，竭尽所能地将客户创意构想最大化落地。双方发挥各自优势共同完成此次挑战，突破动捕技术的边界。

技术难点：

由于此次技术挑战面临人数之多、场地之大、数据量之复杂，为此技术人员提前对技术、人员调配做了全面的应对和预备方案。



迪生网易现场沟通

技术分享：

一、精准部署—场地硬件调试环节
在网易30米×20米×6.75米的动捕空间里，由于捕捉25人身上反光标记点多达1450个，所以对130个Vicon Vantage16摄像机的部署十分考究，充分发挥每一台摄像机的最大化作用。为此技术人员利用了Shogun软件能根据场地大小合理布局镜头数量和方向，以及Vantage16摄像机1600万超高像素和灵活可选镜头可视角度的优势，对部分摄像机进行调整来优化摄像机的场地覆盖，从而更好适应这种人数较多的捕捉项目。



Vicon摄像机布局



动捕摄影机有效覆盖面积

二、快速准备—实时角色创建环节
技术人员采用两套点位模板对演员进行严格的标准反光标记点位置粘贴，并为每位演员制作了独一无二的标记簇，以增加演员识别度，减少由于演员身材比例相似而被系统识别错误的机率。同时Shogun高质量的骨骼解算能力也为演员的角色创建过程节省了大量时间，最终不到1小时，就完成了对25人从穿衣、贴点到角色创建的拍摄前准备。





动捕穿戴



角色创建

三、高效录制—三方完美配合环节
在重要的动捕录制环节中，要想在最短时间内获得最高效的捕捉体验，就需要演员、技术以及设备三方的完美配合，而这些配合的关键都在对演员、技术组、Vicon动捕系统发出挑战。为此，需要做的是：首先技术组需提前布置捕捉的工作流程、呈现平台以及便于导演和演员实时监看表演结果的回放支持；其次让演员熟悉整个捕捉内容、流程和注意事项；最后准备了多机同步实时解算方案，分散计算机的解算压力，提高Shogun对数据的处理以及承载能力。



迪生技术布置捕捉流程



导演讲解流程



实时观看

技术关键：

如何进行快速高效的动捕数据录制，值得关注的三个关键点:
1. 由于演员长时间的表演，可能会出现T-pose不标准、反复进出场地、在场地内坐躺休息等情况，但是Shogun快速骨骼识别的能力，帮助减少了因角色识别错误造成的时间损失。



演员场地休息

2. 25人同场实时动作捕捉势必会出现严重的反光标记点遮挡，但Shogun牢不可破的骨骼解算能力，保证了即使在做复杂的交互，如拥抱、握手、搭肩、跳跃等动作，或者在场地边缘进行表演，甚至标记点错位和丢失时，依然不会造成骨骼扭曲和消失。



演员拥抱图

3. 录制如此复杂且大体量的25人动捕表演数据，对软件的数据处理能力也是一大考验。但Shogun将所有数据实时写入磁盘，并且可以对数据进行批量处理，为后期的优化工作提升了效率。



数据处理

最终网易与迪生的专业技术团队、敬业的演员以及Vicon动捕系统的完美配合，使得此次国内首次25人的同场实时动作捕捉挑战成功。一直以来，网易作为业内敢于突破和挑战的领头人，为行业提供了非常有力的参考依据，同时迪生技术团队的支持也为探索动捕边界提供了坚实的保证。当然，这不仅只是一次挑战而已，还是我们触及动捕边界的开始，未来，双方还将基于动捕技术进行更广泛深入的开发探索。



留影

随着虚拟制作、数字人等技术的逐步发展，动捕技术将发挥更大作用，它为虚拟与现实世界搭建了更加稳固的桥梁，配合制作人员的创意实现跨越式发展并对行业进行不断革新，而这些也正是迪生所不断期待和努力的。

灵猫

未经授权，不得擅自使用图片及视频