-
Notifications
You must be signed in to change notification settings - Fork 0
Mediapipe Webcam Tracker
除了使用 OpenSeeFace 和 NVIDIA RTX 网络摄像头面捕进行跟踪之外,VTube Studio 现在还支持使用新的 Google Mediapipe 网络摄像头跟踪器进行高质量网络摄像头跟踪。质量与 NVIDIA 跟踪器大致相当,但不需要特殊硬件。
它直接包含在 VTube Studio 中(目前仅限 Windows),无需 DLC 或下载。
Google Mediapipe 跟踪器仅适用于 Windows,但与 NVIDIA 跟踪器不同,不需要特殊的 GPU。该跟踪器直接包含在 VTube Studio 中,无需进一步下载或 DLC。
Google Mediapipe 跟踪器可以像常规 OpenSeeFace 网络摄像头跟踪器一样启动。
单击 "捕捉质量" 按钮后只需选择 "[Google] Mediapipe Tracker" 即可。这仅适用于 Windows。
首次启动跟踪器后,请确保至少校准一次,同时保持面无表情并直视屏幕。 VTube Studio 会记住校准数据,因此你不必每次启动跟踪器或重新启动 VTube Studio 时都执行此操作。
就跟踪质量而言,我认为它相当不错,但不如 NVIDIA 跟踪。随着进一步的更新,它肯定会变得同样好,甚至更好。我还将考虑将其引入 VTube Studio 的 Android 版本。
嘴部追踪非常准确,眼球追踪也是如此。眨眼追踪也很好,但一如既往,根据你的眼睛形状/大小,它可能会更好或更差。你只需尝试一下并亲自看看即可。
Google Mediapipe 跟踪器的面部旋转范围比大多数其他跟踪器的限制要严格一些。如果你向下或向左/向右移动太多,它可能会失去跟踪。
它支持与 iOS 跟踪相同的参数,包括 "Mouth X" 和 单边眉毛追踪,但它目前 不支持 脸颊鼓起和 舌头跟踪。该跟踪器正在积极开发中,因此很可能最终会添加这些跟踪器。
在 CPU/GPU 使用率方面,它应该与 OpenSeeFace 网络摄像头跟踪相当。
使用 Google Mediapipe 跟踪器时支持手部跟踪。
我戴着眼镜尝试过,眼球追踪和眨眼追踪似乎效果相当好。当然,这也取决于网络摄像头的放置和照明。
当然!它作为主要网络摄像头跟踪器可用并将始终保持可用。这只是你可以尝试的另一个选项。
参数范围/设置将尽可能接近 iOS 跟踪,因此你现有的所有模型都应该能够在没有任何更改的情况下工作(脸颊鼓起和舌头跟踪除外,因为它们目前不适用于此跟踪器)。
如果你遇到了任何该手册中没有回答的问题,请到 VTube Studio Discord !!
- 使用单个网络摄像头或iPhone Android设备控制多个模型
- 在模型间复制配置
- 载入自定义背景
- 重新着色模型和挂件
- 录制动画
- 使用OBS录制/串流
- 将数据传输至VSeeFace
- 以管理员身份启动
- 不通过Steam启动应用
- 向Mac/PC推流
- 多人联机
- Steam创意工坊
- 截图与分享
- Live2D Cubism Editor 通信
- VTube Studio设置
- VTS模型设置
- VTS模型文件
- 视觉特效
- Twitch互动
- Twitch热键触发器
- Spout2背景
- 按键表情
- 动画
- 动画、表情、面部追踪、物理等之间的交互
- Google Mediapipe面部捕捉
- NVIDIA Broadcast面部捕捉
- Tobii 眼球捕捉
- 手部捕捉
- 音频口型同步
- 挂件系统
- Live2D挂件
- 层间挂件固定
- 挂件场景和挂件热键
- 添加特殊的ArtMesh功能
- 屏幕光源着色
- VNet网络安全
- 插件 (YouTube, Twitch等平台)
- Web挂件
- Web挂件插件