OpenCV4Android背景建模（MOGMOG2） _OpenCV4Android

亦余心之所善兮，虽九死其犹未悔。这篇文章主要讲述OpenCV4Android背景建模（MOGMOG2）相关的知识，希望能为你提供帮助。

本文为作者原创，转载请注明出处（http://www.cnblogs.com/mar-q/）by 负赑屃很久以前的笔记了，分享给大家吧。。。OpenCV4android中用于背景建模的类主要有：BackgroundSubtractor、BackgroundSubtractorMOG、BackgroundSubtractorMOG2、BackgroundSubtractorKNN，主要对使用方法做个总结。借用OpenCV提供的API，Android编程可以实现比较丰富的视觉处理效果。经过多次尝试，终于梳理出OpenCV背景建模在Android中的使用方法。BackgroundSubtractor的java API在OpenCV2.x和3.x版本有较大区别，3.x提供了比较丰富的API接口，取消了2.4中的高斯背景建模1（BackgroundSubtractorMOG），保留了高斯背景建模2（BackgroundSubtractorMOG2），引入了KNN背景建模（BackgroundSubtractorKNN）。同时提供了很多访问BackgroundSubtractor背景模型的属性方法，例如getBackgroundImage等。废话不多说，总结如下：一、通过Java接口实现背景建模无论在OpenCV2.x还是3.x，BackgroundSubtractor类都必须在帧循环处理之前定义，例如：给OpenCV自带的Tutorial2 例程增加一个BackgroundSubtractorMOG2类的前景侦测方法。 1、定义一个BackgroundSubtractorMOG2 对象，Tutorial2 例程对于用到的mat类对象定义为private全局变量，参照给出定义：

public class Tutorial2Activity extends Activity implements CvCameraViewListener2 { …… private MatmRgba; private MatmIntermediateMat; private MatmGray; private BackgroundSubtractorMOG2 mog2;

2、mog2对象初始化，Tutorial2 例程在onCameraViewStarted方法中对mat对象进行初始化，参照执行：

public void onCameraViewStarted(int width, int height) { mRgba = new Mat(height, width, CvType.CV_8UC4); mIntermediateMat = new Mat(height, width, CvType.CV_8UC4); mGray = new Mat(height, width, CvType.CV_8UC1); mog2 = new BackgroundSubtractorMOG2(); //OpenCV2.x初始化方法 //mog2 = video.createBackgroundSubtractorMOG2(); //OpenCV3.x初始化方法 }

需要注意的是OpenCV2.x初始化BackgroundSubtractorMOG2对象是通过new来实现，但是在3.x版本中是通过mog2 = Video.createBackgroundSubtractorMOG2()来实现。
3、执行背景建模，直接把例程中的canny方法改成BackgroundSubtractor：

case BUTTON_GETBG: mRgba = inputFrame.rgba(); bg2.apply(inputFrame.gray(),mIntermediateMat,0.01); //前景保存在mIntermediateMat中 //bg2.getBackgroundImage(mBG); //OpenCV3.x提供获取背景函数

由于OpenCV2.x没有提供getBackgroundImage方法，让我们折腾折腾，通过jni给它实现一下：二、通过jni实现背景建模首先你得大致会jni，不在这里展开讲，推荐看一下http://www.cnblogs.com/linguanh/p/4624768.html，做好准备工作。 1、定义GetBGImage类继承BackgroundSubtractorMOG2类，并定义其中的native方法：

/** * 因为OpenCV2.4中没有提供BackgroundSubtractorMOG2类getBackgroundImage的API接口， * 所以通过FindBackground类定义获取背景的方法，FindBackground类的初始化工作和 * BackgroundSubtractorMOG2类一致，必须在Frame循环之外完成，获取背景的方法在帧循环体内。 */ public class GetBGImage extends BackgroundSubtractorMOG2{ //继承自BackgroundSubtractorMOG2，其构造方法继承父类构造方法 publicGetBGImage (int history, float varThreshold, boolean bShadowDetection) { super( history, varThreshold, bShadowDetection) ; return; } //FindBackground extends BackgroundSubtractorMOG2 extends BackgroundSubtractor extends Algorithm类 //algorithm类定义了long类型的nativeobj public long getNativeObjAddr() { return nativeObj; }public void FindFeature(Mat mGr, Mat mBG){ FindFeatures(nativeObj, mGr.nativeObj, mBG.nativeObj); return; } public static native void FindFeatures(long nativeObj,long mGr_nativeObj, long mBG_nativeObj); }

【OpenCV4Android背景建模（MOGMOG2）】
2、编写Java_com_example_Myapplication_GetBGImage.cpp代码：

#include < jni.h> #include < opencv2/core/core.hpp> #include < opencv2/core/core.hpp> #include < opencv2/imgproc/imgproc.hpp> #include < opencv2/features2d/features2d.hpp> #include < vector> #include < android/log.h> #include < sys/time.h> #include < opencv2/video/background_segm.hpp> #define LOGE(...) __android_log_print(ANDROID_LOG_ERROR, "ProjectName", __VA_ARGS__) using namespace std; using namespace cv; //异常处理，可以不要 static void throwJavaException(JNIEnv *env, const std::exception *e, const char *method) { std::string what = "unknown exception"; jclass je = 0; if(e) { std::string exception_type = "std::exception"; if(dynamic_cast< const cv::Exception*> (e)) { exception_type = "cv::Exception"; je = env-> FindClass("org/opencv/core/CvException"); } what = exception_type + ": " + e-> what(); } if(!je) je = env-> FindClass("java/lang/Exception"); env-> ThrowNew(je, what.c_str()); LOGE("%s caught %s", method, what.c_str()); (void)method; // avoid "unused" warning } //方法主体，一定要以extern "C"{开头 extern "C" { JNIEXPORT void JNICALL Java_com_example_Myapplication_GetBGImage_FindFeatures(JNIEnv* , jobject , jlong self, jlong addrGray, jlong addrBG); //在java native方法中传入的参数主要有三个，分别对应self、addrGray、addrBG，其中self是自定义的GetBGImage类long类型的nativeobj，它可以作为一个指针指向你定义的GetBGImage类对象。 //当对象指针通过jni传入C++后，你可以通过GetBGImage的父类BackgroundSubtractorMOG2的指针指向这个对象，并在通过指针调用C的接口，从而实现对getBackgroundImage方法的调用。 JNIEXPORT void JNICALL Java_com_example_Myapplication _GetBGImage_FindFeatures(JNIEnv* env, jobject , jlong self, jlong addrGray, jlong addrBG) { static const char method_name[] ="FindFeatures-> getBackgroundImage()getFrontMaskImage()"; try{ LOGE("%s",method_name); Mat& mGr= *(Mat*)addrGray; Mat& mBG = *(Mat*)addrBG; cv::BackgroundSubtractorMOG2* me = (cv::BackgroundSubtractorMOG2*) self; me-> operator()(mGr, mBG,0.001); me-> getBackgroundImage(mGr); return; }catch(const std::exception & e) { throwJavaException(env, & e, method_name); } catch (...) { throwJavaException(env, 0, method_name); } return; } }

注：需要调用的C++函数需在native里声明，声明的文件名要与编写的cpp文件一致，例如Java_com_example_Myapplication_GetBGImage_FindFeatures对应的FindFeatures。 3、生成.h头文件和.so库文件生成.h头文件（在as terminal中输入命令：javah -d & location\\app\\src\\main\\jni -classpath & location\\app\\src\\main\\java com.example.Myapplication.GetBGImage），如果一切顺利则不会报错，并生成Java_com_example_Myapplication_GetBGImage.h文件；编写Android.mk文件、application.mk文件，具体请参照Tutorial2或相关博客，提示一句：如果需要mk多个cpp文件（例如1.cpp，2.cpp），请在标记LOCAL_SRC_FILES :=1.cpp LOCAL_SRC_FILES := 2.cpp，当然还有更通用的写法，可以自己查找，这里不再介绍。编译.so文件，as terminal转入app\\src\\main\\jni目录下，输入ndk-build，如果一切顺利则会提示生成了一系列.so文件，同时你的project的main目录下会生成libs和obj两个目录。这就表示编译成功，在你的mainActivity里加载这个.so文件吧，加载方法： BaseLoaderCallback中加载System.loadLibrary("xxxx"); //.so文件名称一般为libxxxx.so 这一步很关键，也很容易出错，请耐心调试，如果我的方法不适用可以多搜别人的博客看看。 4、完成以上步骤，就可以放心使用GetBGImage的FindFeature方法了。步骤可以参考java背景建模，首先预定义GetBGImage类对象

public class Tutorial2Activity extends Activity implements CvCameraViewListener2 { …… private MatmRgba; private MatmIntermediateMat; private MatmGray; private GetBGImagemog2;

在onCameraViewStarted方法中进行初始化，这里的参数请参照背景建模的需求进行调试。

public void onCameraViewStarted(int width, int height) { mRgba = new Mat(height, width, CvType.CV_8UC4); mIntermediateMat = new Mat(height, width, CvType.CV_8UC1); mGray = new Mat(height, width, CvType.CV_8UC1); //GetBGImage类继承自BackgroundSubtractorMOG2，其构造方法继承父类构造方法 bg2 = new GetBGImage(30,16,false);

在onCameraFrame方法中调用FindFeature