如何实现Hololens 2空间意识

Question

我们想做什么

-当桌上有杯子，手表和手机时，我们只想将包围盒安装到带有Hololens2的手表上。-包围盒实时投影在Hololens2的屏幕上，其尺寸根据手表的尺寸而变化。-即使人们拿起并戴在桌子上的“手表”后，我们也要继续在HoloLens2的屏幕上连续投射边框。

问题

通过使用HoloLens的空间感知功能，可以识别“桌子”或“地板”。但是，很难识别出放在桌子上的小东西，例如时钟。我试图通过实验从HoloLens发出射线并在空间识别层上使用碰撞检测来推断对象的形状。但是，用于空间识别的网格是粗糙的（即使它是高网格），因此光线穿过对象或未对齐。我们假设如果可能进行详细识别，则可以将边界框附加到目标。有什么办法解决这个问题？请让我知道您是否有任何样本来源可供参考。

Answer 1

您对HoloLens空间感知的理解是正确的，假设您正在使用Scene understanding SDK进行空间检测。它通常用于较大的空间以进行可视化或进一步的网格处理，它可以识别较大的表面，如墙壁，地板，天花板，但会忽略一些精致的物体。

如果要基于空间意识实现对象识别系统，则空间映射LOD的限制将被阻止。您不能指定大于最大支持三角形计数的值，否则将使用最大值。

对于小对象识别的要求，我建议检查Azure计算机视觉提供的Objects Detect Service，它返回图像中找到的每个对象的边界框坐标。此外，还有一些使用彩色相机的第三方实时对象识别库，您可以看一下。