Unity原生OpenGL纹理显示四次

Question

我目前正面临一个我根本不明白的问题。我雇用ARCore进行内向外跟踪任务。由于我需要做一些额外的图像处理，我使用Unitys功能来加载本机c ++插件。在每个帧的最后，我将YUV_420_888格式的图像作为原始字节数组传递给我的原生插件。

在组件初始化时创建纹理句柄：

private void CreateTextureAndPassToPlugin()
{

    Texture2D tex = new Texture2D(640, 480, TextureFormat.RGBA32, false);

    tex.filterMode = FilterMode.Point;
    tex.Apply();
    debug_screen_.GetComponent<Renderer>().material.mainTexture = tex;

    // Pass texture pointer to the plugin
    SetTextureFromUnity(tex.GetNativeTexturePtr(), tex.width, tex.height);
}

由于我只需要灰度图像，我基本上忽略了图像的UV部分，只使用如下所示的y坐标：

uchar *p_out;
int channels = 4;
for (int r = 0; r < image_matrix->rows; r++) {
    p_out = image_matrix->ptr<uchar>(r);
    for (int c = 0; c < image_matrix->cols * channels; c++) {
        unsigned int idx = r * y_row_stride + c;
        p_out[c] = static_cast<uchar>(image_data[idx]);
        p_out[c + 1] = static_cast<uchar>(image_data[idx]);
        p_out[c + 2] = static_cast<uchar>(image_data[idx]);
        p_out[c + 3] = static_cast<uchar>(255);
    }
}

然后每帧将图像数据放入GL纹理：

GLuint gltex = (GLuint)(size_t)(g_TextureHandle);
glBindTexture(GL_TEXTURE_2D, gltex);
glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, 640, 480, GL_RGBA, GL_UNSIGNED_BYTE, current_image.data);

我知道通过创建纹理并将其作为RGBA传递来使用太多内存，但由于OpenGL ES3不支持GL_R8，并且GL_ALPHA总是导致内部OpenGL错误，我只是将灰度值传递给每个颜色组件。

但是最终会渲染纹理，如下图所示：

起初我认为，其原因可能在于具有相同值的其他通道，但是将除第一个通道之外的所有其他通道设置为任何值都没有任何影响。

我错过了一些明智的OpenGL纹理创作吗？

Answer 1

YUV_420_888是多平面纹理，其中亮度平面仅包含每个像素的单个通道。

for (int c = 0; c < image_matrix->cols * channels; c++) {
    unsigned int idx = r * y_row_stride + c;

你的循环边界假设c是4个通道中的多个，这对于输出表面是正确的，但是在计算输入表面索引时也可以使用它。您使用的输入表面平面仅包含一个通道，因此idx错误。

一般来说，你也多次写同一个内存 - 循环每次迭代增加c一次，但你写入c，c+1，c+2和c+3，所以覆盖你上次写的三个值。

更短的答案 - 你的OpenGL ES代码很好，但我认为你用不好的数据填充纹理。

未经测试，但我认为您需要：

for (int c = 0; c < image_matrix->cols * channels; c += channels) {
    unsigned int idx = (r * y_row_stride) + (c / channels);