ARKit能否将特定曲面检测为平面?

问题描述 投票:7回答:1

使用iOS 11和iOS 12以及ARKit,我们目前能够检测水平表面上的平面,我们也可以在表面上可视化该平面。

我想知道我们是否可以通过某种图像文件声明我们想要检测平面的特定表面? (可能忽略了ARKit从其他表面检测到的所有其他平面)

如果那是不可能的,那么我们是否可能捕获检测到的平面(通过图像),然后我们可以通过CoreML模型处理该平面以识别特定的表面?

ios swift augmented-reality arkit coreml
1个回答
2
投票

ARKit目前不支持此类事情。您确实可以捕获检测到的图像作为图像,如果您能够通过核心ML实时匹配,我相信很多人会感兴趣!

你应该:

  • 获得飞机角落的3D位置
  • 使用sceneView.projectPoint在框架中找到它们的2D位置
  • currentFrame.capturedImage中提取框架
  • 对你的飞机留下的图像做一个仿射变换,重新投影到一个矩形
  • 做一些ML /图像处理来检测匹配

请记住,ARKit矩形检测通常没有很好地对齐,并且只能包含整个平面的一部分。

最后,遗憾的是,ARKit公开的特征点没有用,因为它们不包含用于跨帧匹配特征点的任何特征,Apple没有说明他们使用什么算法来计算它们的特征点。


0
投票

这是查找水平曲面的小型演示代码。在#Swift5 Github

© www.soinside.com 2019 - 2024. All rights reserved.