OpenCV自带的JavaCameraView竖屏状态下会旋转90°显示解决方案 OpenCV自带的JavaCameraView竖屏状态

昨天刚解决完OpenCV Manager的问题，今天就马不停蹄的开始写人脸追踪。结合《深入OpenCV Android应用开发》这本书加上官方给出的demo，成功写出了第一版的人脸追踪效果(这里就不贴具体的代码的，大家可以根据官方的demo——face-detection去试着实现)，虽然能实现追踪的效果，但是此时的页面只有在设置横屏时才是正常的，并且使用时需要把手机横过来才有效果，这和大家平时的使用习惯显然是不符的。于是我开始试着让他能竖向显示以及识别......
1. 首先试着把输出的图像竖起来首先我们把页面的android:screenOrientation="landscape"从水平改成竖向，此时的效果是显示的内容向左旋转90°，然后显示的区域是一个正方形。接着我们开始试着让图像竖起来——
如果大家按照demo试着实现的话想必会让页面实现CameraBridgeViewBase.CvCameraViewListener2这个接口，此接口中需要实现

public Mat onCameraFrame(CvCameraViewFrame inputFrame);

这个方法。根据其描述以及自己的猜测，我们可以知道这个方法是在摄像头传帧时被调用到。我们可以在这个方法中去处理所获得到的帧，寻找人脸的操作自然也就在这里进行了。所以我们这寻找人脸的操作之前，先要将图像旋转回来。

Mat gray = inputFrame.gray(); rgb = inputFrame.rgba(); // 旋转输入帧 if (isFrontCamera) { Core.rotate(rgb, rgb, Core.ROTATE_90_COUNTERCLOCKWISE); Core.rotate(gray, gray, Core.ROTATE_90_COUNTERCLOCKWISE); Core.flip(rgb, rgb, 1); Core.flip(gray, gray, 1); } else { Core.rotate(rgb, rgb, Core.ROTATE_90_CLOCKWISE); Core.rotate(gray, gray, Core.ROTATE_90_CLOCKWISE); }

这里的rgb既是我们得到的彩色图像，gray既是灰度化之后的图像。这里我们根据是否是前置摄像头，对帧所对应的矩阵进行旋转，其中后置摄像头需要将矩阵顺时针旋转90°得到竖向的图像，而前置摄像头则需要逆时针旋转90°，同时进行一次镜像翻转才能得到想要的图像。
PS：由于矩阵的乘法不满足交换律，所以此处前置摄像头的旋转与翻转顺序不可更改！！对矩阵不太了解的小伙伴可以参考此处。
至此我们已经将图像竖起来了，同时也能对人脸进行追踪了，但是此时显示的图像依旧是一个以手机宽为边长的正方形。
2. 将预览视图扩大到正常比例经过一番寻根问底，我发现决定帧大小的代码是JavaCameraView里initializeCamera中的这一行

/* Select the size that fits surface considering maximum size allowed */ Size frameSize = calculateCameraFrameSize(sizes, new JavaCameraSizeAccessor(), width, height);

接着我们看这里计算帧大小的方法

protected Size calculateCameraFrameSize(List supportedSizes, ListItemAccessor accessor, int surfaceWidth, int surfaceHeight) { int calcWidth = 0; int calcHeight = 0; int maxAllowedWidth = (mMaxWidth != MAX_UNSPECIFIED && mMaxWidth < surfaceWidth) ? mMaxWidth : surfaceWidth; int maxAllowedHeight = (mMaxHeight != MAX_UNSPECIFIED && mMaxHeight < surfaceHeight) ? mMaxHeight : surfaceHeight; for (Object size : supportedSizes) { int width = accessor.getWidth(size); int height = accessor.getHeight(size); if (width <= maxAllowedWidth && height <= maxAllowedHeight) { if (height >= calcHeight && width >= calcWidth) { calcWidth = (int) width; calcHeight = (int) height; } } }return new Size(calcWidth, calcHeight); }

这段代码首先是计算了允许的最大宽高，接着遍历当前设备支持的所有的摄像头预览尺寸，在这里的需要注意的是，得到的这些分辨率是类似这样的：

1920x1080 1280x720 800x480 768x432 720x480 640x480 576x432 480x320

也就是说之所以会出现正方形的预览情况，是因为实际视图想要的大小(例如1080宽 1920高)与设备实际得到的设备支持的预览尺寸的宽高比是不符的，这也就导致了这里的方法最后得到的尺寸宽高比变成了1:1(也就是主流设备上的1080x1080)。
因此我们为了让他符合我们的实际需求，将此处比较最大值的条件改成

height <= maxAllowedWidth && width <= maxAllowedHeight

这样最后得到的分辨率既是实际想要的最大纵向宽高比(当然这里最后得到的数值依旧是宽>高的，因为在initializeCamera的后续方法里依旧需要将这个尺寸作为参数设置给Camera)。
至此如果运行项目会发现程序会死在CameraBridgeViewBase中deliverAndDrawFrame方法的这一行

Utils.matToBitmap(modified, mCacheBitmap);

这行代码最后通过jni调用了OpenCV底层的方法，根据Log日志反馈的异常，我们查询源码，发现此处是一个断言异常，错误断言了此处的矩阵与Bitmap大小一致。我们再来看看此处的Bitmap从何而来，

protected void AllocateCache() { mCacheBitmap = Bitmap.createBitmap(mFrameWidth, mFrameHeight, Bitmap.Config.ARGB_8888); }

我们可以看到此处的Bitmap是提前就创建好的，调用AllocateCache()此方法的地方正是initializeCamera()，也就是说此处Bitmap的大小是在初始化相机的方法中传进去的，既他的宽是大于高的。而此处的modified矩阵就是我们在上面第一步中旋转好的帧所转化而来的，也就是说他是一个纵向的图像，如图所示：