在AR对象上检测手指？

Question

我正在尝试创建一个移动AR应用程序，以在平面上创建虚拟钢琴键盘，并能够用手指弹奏键。

1）哪种工具是实现这一目标的最简单方法？ （例如Vuforia，ARKit）

2）是否可以将我的手指放在钢琴键盘的前面而不是后面？

非常感谢您的提前帮助。

Answer 1

选择哪种框架用于遮挡：

两个框架ARKit和Vuforia都支持Occlusion功能，但目前支持this feature isn't ideal。对我而言，在AR应用程序中实现遮挡的最简单方法是在Xcode中使用ARKit。如果您喜欢Unity和其UI设置中的Vuforia，也欢迎您。

如何在ARKit和Vuforia中使用遮挡：

要在实际对象上合成hand / finger，必须在ARKit中使用People Occlusion功能或在Vuforia中使用Occlusion Management。

[使用frameSemantics实例属性在ARKit中激活深度通道合成非常容易（但请记住，它仅在A12 / A13 CPU上的iOS 13中有效）：

let session = ARSession()

if let config = session.configuration as? ARWorldTrackingConfiguration {
    config.frameSemantics.insert(.personSegmentationWithDepth)
    session.run(config)
}

如果您想了解如何打开Occlusion Management /UnityVuforia中的download a CylinderTargets，该示例演示圆柱对象的用法以及遮挡效果。