据外媒ROAD TOVR消息，Meta Reality Labs的研究人员制造了一个VR头戴式设备原型，可以支持编解码器头像项目的渲染，并配备了一个专门用于AI处理的定制加速器芯片。
早在脸书更名为Meta之前，该公司就一直致力于编解码器Avatars项目，该项目旨在使VR成为“照片级逼真”的虚拟化身。这个系统将AI处理与设备上的眼睛跟踪和嘴巴跟踪等传感器相结合，以最接近现实的方式将用户的面部投影到虚拟世界中。
早期版本的CodeAvatars research是由NVIDIA Titan X GPU强大的计算能力支持的。但是在Meta最新的Quest 2一体机和其他设备上并不能完全发挥其功能。
所以Meta正在研究如何在低功耗一体机上实现编解码器Avatars项目的功能。
在上月IEEE CICC会议上发表的一篇论文中，Meta透露，它正在设计一种7纳米工艺的定制芯片，用作编解码器化身的加速器。
其实Meta的造芯计划早在2018年就开始了。2018年4月，脸书招募Shahriar Rabii担任其副总裁兼芯片负责人。Rabii此前供职于谷歌，参与了Pixel手机的Visual Core等芯片开发。
据研究人员称，这种芯片从纸上变成现实还有很长的路要走。
在芯片设计过程中，设计者考虑了生成编解码头像模型所需的数据。
“测试芯片采用7纳米工艺，具有神经网络加速器，由1024乘累加阵列、2MB片上SRAM和32位RISC-V CPU组成。”这位研究员说。
另一方面，为了配合芯片的具体架构，设计师还重构了一部分编解码器Avatars AI模型。
“我们重建了基于卷积神经网络的眼睛凝视模型，并定制了硬件，使模型更适合芯片。这降低了片外存储器访问的能耗和延迟。”现实实验室的研究人员写道。
加速芯片不仅加快了模型的运行速度，还通过加速编解码器头像的繁重工作量来降低功耗和发热。由于芯片的定制优势，定制芯片在功耗和音量控制上比一般CPU更有优势。
据研究人员称，该芯片已经能够以每秒30帧的速度运行编解码器头像模型。同时功耗低，体积小。
010-350000得益于专用芯片的加速，Meta的编解码头像或许可以在一体机上运行。但是目前我们还不知道虚拟替身的视觉渲染效果。在非一体机上运行时，模型会非常详细地扫描用户的建模，这可能过于复杂，无法在Quest2等一体机上完整呈现。目前我们还不知道在这种客观条件下，编解码器头像强大的“逼真”画面最终会如何呈现。
我们可以想象，通过这种专门设计的加速芯片，可以实现一系列XR特有的功能。比如在XR世界实现空间音频，这是XR玩家愿意看到的，可以增加沉浸感。但是逼真的声音模拟不仅会增加成本，还会影响续航能力。
此外，位置追踪和手势追踪也是XR体验的重点部分。在这些地方结合硬件和算法，可以大大提高XR设备的速度和功率。雷锋网
