在YUV_420_888中将图像从Android发送到OpenCV Mat中的JNI的最有效方式

【在YUV_420_888中将图像从Android发送到OpenCV Mat中的JNI的最有效方式】莫问天涯路几重,轻衫侧帽且从容。这篇文章主要讲述在YUV_420_888中将图像从Android发送到OpenCV Mat中的JNI的最有效方式相关的知识,希望能为你提供帮助。
我有一个android应用程序,我想在android OpenCV API的实时图像上运行一些Camera2图像处理。目前,如果我不进行任何处理,我能够以30 fps的速度接收OnImageAvailble功能的图像,用于常规的1280x720帧。
现在作为一个肮脏的黑客我要从ImageReader请求JPEG格式的图像,然后将位图传递给jni,这会降低性能。
什么是在jni对象中将YUV帧传递给cv Mat的最有效方法。此外,我想将此帧转换为RGB进行进一步处理。我应该更改java端的格式,还是应该将Mat对象传递给jni并仅在那里转换颜色空间。
答案由于显而易见的原因,你在C ++中所做的任何事情都比Java等同得多,包括YUV到RGB的转换(即使Java实现依赖于编译库)。
您可以直接将指针从Java中现有的Mat直接传递给C ++到JNI。假设我想使用C ++和JNI做Canny(),我有一个像这样定义的JNI函数:

// In Java public static native boolean nativeCanny(long iAddr);

注意long iAddr参数,它是指向Java中Mat的直接指针。你这样调用它:
// In Java nativeCanny(myImage.getNativeObjAddr());

在C ++中实现此函数将以与此类似的方式接收此指针(如果这不起作用,则用jlong??替换long):
// In C++ JNIEXPORT jboolean JNICALL VeryLongName_nativeCanny(JNIEnv *env, jobject instance, long iAddr) { cv::Mat* img = (cv::Mat*) iAddr; cv::Canny(*img, *img, 80, 100, 3); return true; }

无论我对img Mat做了什么,也发生在java myImage Mat中,毕竟它是一个指针,所以我们从来没有复制过。
据我所知,这是最快的。
另一答案也许对您有所帮助:由于我们进行了大量的图像处理,因此我们在公司为此目的编写了一个库。它不是用C语言编写的,而是非常高效的。转换后,您只需通过JNI将Mat指针传递给C代码即可。
它将YUV(标准Android相机格式YUV_420_888)转换为RGB Mats。此外,它还允许在转换之前有效剪切YUV(对于非常大的图像很重要,否则你需要转换整个图像,然后剪辑这是昂贵的)。用法很简单:
Mat mat = Yuv.toMat(image)

https://github.com/quickbirdstudios/yuvToMat

    推荐阅读