XR Animator 继承自我之前的桌面小工具项目 System Animator，是一款基于视频/网络摄像头的 AI 动作捕捉应用程序，专为 VTubing 和 Metaverse 时代而设计。它使用MediaPipe和TensorFlow.js的机器学习 (ML) 解决方案来检测实时网络摄像头视频中的 3D 姿势，然后用于驱动 3D 化身（MMD/VRM 模型），就像您用身体控制它一样。它可用于 VTubing 和各种 XR/3D 用途。

它有多种运动跟踪选项。您可以选择跟踪面部、全身或介于两者之间的物体（面部/身体/手的任意组合）。

网络应用程序版本适用于桌面和智能手机上的所有主要网络浏览器。在同时支持Web Worker和OffscreenCanvas的浏览器（例如Chrome）上，它可以在Medicore PC上实现60fps的视觉渲染和30fps的身体姿势检测。在处理能力有限的智能手机上，您可能需要限制其在面部跟踪上的使用。

特征

• 支持使用单个网络摄像头或媒体文件（图像/视频）进行全身 AI 运动跟踪

• 支持“完美同步”/ARKit 兼容的 52 种混合形状，实现逼真的面部跟踪

• 支持使用任何MMD/VRM模型作为您的3D头像

• 记录动作捕捉动作并将其导出为 BVH 或 VMD 动作格式

• 支持加载VMD/FBX/BVH格式3D动作

• 将 FBX/BVH 运动导出为 VMD 格式

• 使用 2D 图像/视频、3D 全景和 3D 对象（.x/.glb 格式）自定义背景和 3D 场景

• 支持 VMC 协议，以便在其他支持 VMC 的应用程序（例如 VSeeFace、Unity 和 Unreal Engine）中为 3D 模型制作动画（仅限 Electron 模式）

• 支持 OBS 等视频采集应用程序上具有透明背景的无框窗口（仅限 Electron 模式）(*)

• Android Chrome 浏览器支持 AR（增强现实）

(*) - 要在 OBS 上捕获 Web 应用程序版本的 XR Animator（无需浏览器 UI），您必须在 OBS 浏览器上打开 XR Animator。OBS 上需要一些额外的命令行参数才能允许摄像机访问。