使用OpenGL将每个相机帧处理为Bitmap

Question

我有一个应用程序，我想从相机处理每个给定的帧来做一些ARCore的东西。所以我有一个实现GLSurfaceView.Renderer的类，在这个类中我有onDrawFrame(GL10 gl)方法。在这个方法中，我想使用Android位图，所以我调用此代码从当前帧获取位图：

private Bitmap getTargetImageBitmapOpenGL(int cx, int cy, int w, int h) {
    try {

      if (currentTargetImageBitmap == null) {
        currentTargetImageBitmap = Bitmap.createBitmap(w, h, Bitmap.Config.ARGB_8888);

        byteBuffer = ByteBuffer.allocateDirect(w * h * 4);
        byteBuffer.order(ByteOrder.nativeOrder());
      }

      // cy = height - cy;

      if ((cx + w / 2) > width) {
        Log.e(TAG, "TargetImage CenterPoint invalid A: " + cx + " " + cy);
        cx = width - w / 2;
      }

      if ((cx - w / 2) < 0) {
        Log.e(TAG, "TargetImage CenterPoint invalid B: " + cx + " " + cy);
        cx = w / 2;
      }

      if ((cy + h / 2) > height) {
        Log.e(TAG, "TargetImage CenterPoint invalid C: " + cx + " " + cy);
        cy = height - h / 2;
      }

      if ((cy - h / 2) < 0) {
        Log.e(TAG, "TargetImage CenterPoint invalid D: " + cx + " " + cy);
        cy = h / 2;
      }

      int x = cx - w / 2;
      int y = cy - h / 2;

      GLES20.glReadPixels(x, y, w, h, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE,
          byteBuffer);

      IntBuffer currentTargetImagebuffer = byteBuffer.asIntBuffer();

      currentTargetImagebuffer.rewind();
      currentTargetImageBitmap.copyPixelsFromBuffer(currentTargetImagebuffer);

      return currentTargetImageBitmap;

    } catch (Exception e) {
      e.printStackTrace();
    }

    return null;
  }

这个方法需要大约90毫秒，这对于实时处理每个输入帧肯定太慢了，我需要这样做，因为onDrawFrame(GL10 gl)方法也将这个帧绘制到表面视图。知道为什么这么慢吗？如果我只能读取每个其他帧的像素，但是将每个帧绘制到SurfaceView，也就足够了。我试图在AsyncTask.execute()中调用显示的方法，但另一个线程无法通过GLES20.glReadPixels()方法读取，因为它不是GL线程。

Answer 1

很多现代GPU可以原生解码YUV;问题是如何将YUV表面转换为OpenGL ES，因为这通常不是Open GL ES所做的事情。大多数操作系统（包括Android）允许您通过EGL_image_external扩展将外部表面直接导入OpenGL ES，并且这些外部表面可以标记为具有自动颜色转换的YUV。

更好的是，所有这些都是零拷贝处理; GPU可以直接导入和访问摄像头缓冲区。

这个用于导入的Android机制是通过SurfaceTexture类，这里描述了必要的用法：https://source.android.com/devices/graphics/arch-st