Android、C++ ndk 端的 mediapipe 手部跟踪

Question

是否可以直接在NDK端使用mediapipe手部标志检测？

手部地标解决方案是用 Kotlin 编写的，但我的项目将使用 GameActivity，并且我已经在 C++ 端从camera2ndk API 获取了一个缓冲区（yuvN12 格式，但如果需要，可以轻松转换为 RGB(A)）。我可以看到tasks-vision-0.10.14.aar包含libmediapipe_tasks_vision_jni.so共享库（我可以从https://github.com/google-ai-中示例的资产文件夹中获取hand_landmarker.task） Edge/mediapipe-samples），但我很困惑应该为该共享库使用哪些 h 文件以及如何编写其余的代码。哪个来自 mediapipe 的 C/C++ 示例最好从开始？

Answer 1

我能够为 Android 交叉编译 libhand_landmarker.so 来实现我的目标。这是在 mediapipe 任务、C api 上找到的。我确定了所需头文件的一小部分（~10），并将处理功能基于 mediapipe/tasks/c/vision/hand_landmarker/hand_landmarker_test.cc 文件。