Android|Android Tensorflow+OpenCV实时分析Demo AndroidTensorflow+OpenCV实时分析D

1.引入OpenCV
https://opencv.org/releases.html 选择android版本下载
在Android Studio 选择File->Import Module，找到OpenCV解压的路径，选择sdk/java文件夹。
修改build.gradle文件，让各版本号与主module的版本号保持一致。
添加依赖（右键宿主module，选择Open Module Settings）:

文章图片
image.png
2.引入Tensorflow
api 'org.tensorflow:tensorflow-android:1.12.0'
【Android|Android Tensorflow+OpenCV实时分析Demo】3.显示摄像头预览画面

class CameraActivity : AppCompatActivity(), CameraBridgeViewBase.CvCameraViewListener {private var grayscaleImage: Mat? = null private var absoluteFaceSize: Int = 0override fun onCreate(savedInstanceState: Bundle?) { super.onCreate(savedInstanceState) setContentView(R.layout.activity_camera)cameraView.setCameraIndex(0) // 0:后置 1:前置 cameraView.enableFpsMeter() //显示FPS cameraView.setCvCameraViewListener(this)cameraView.enableView() }override fun onCameraViewStarted(width: Int, height: Int) { grayscaleImage = Mat(height, width, CvType.CV_8UC4) absoluteFaceSize = (height * 0.2).toInt() }override fun onCameraViewStopped() { grayscaleImage?.release() }override fun onCameraFrame(inputFrame: Mat): Mat { Imgproc.cvtColor(inputFrame, grayscaleImage, Imgproc.COLOR_RGBA2RGB)/*val random = Math.random() * 100 + 1 Imgproc.rectangle(inputFrame, Point(random, random), Point(random + 30, random + 30), Scalar(0.0, 255.0, 0.0, 255.0))*/return inputFrame }}

看到画面的时候不要惊讶，它就是左旋转了90度的，把当前activity设置成横屏就ok了。
还有网上的其他方法是修改opencv库的CameraBridgeViewBase，让画面旋转90度恢复正常，但是尝试后发现画面会被放大且有卡顿，然后我还是选择了设置横屏。
4.添加模型
下载tensorflow的识别模型，解压添加到main/assets/model文件夹中，如下图所示。

Android|Android Tensorflow+OpenCV实时分析Demo

文章图片
image.png
5.运行算法

private val INPUT_SIZE = 224 private val IMAGE_MEAN = 117 private val IMAGE_STD = 1f private val INPUT_NAME = "input" private val OUTPUT_NAME = "output" private val MODEL_FILE = "file:///android_asset/model/tensorflow_inception_graph.pb" private val LABEL_FILE = "file:///android_asset/model/imagenet_comp_graph_label_strings.txt"// 创建 Classifier------------------------------------------------------------------------------------------------------------ classifier = TensorFlowImageClassifier.create(this@CameraActivity.assets, MODEL_FILE, LABEL_FILE, INPUT_SIZE, IMAGE_MEAN, IMAGE_STD, INPUT_NAME, OUTPUT_NAME)

在上面显示画面的onCameraFrame()方法中，把opencv提供的mat对象转换成bitmap图像，交给tensorflow分析。

val bmpCanny = Bitmap.createBitmap(inputFrame.cols(), inputFrame.rows(), Bitmap.Config.ARGB_8888) Utils.matToBitmap(inputFrame, bmpCanny) val croppedBitmap = getScaleBitmap(bmpCanny, INPUT_SIZE) val results = classifier?.recognizeImage(croppedBitmap)

tensorflow模型分析结果就在results数组中，可以直接toString()显示。
分析的结果也可以直接在预览画面中显示，使用opencv提供的方式可以实现，只是这样画面会有卡顿。而我选择在JavaCameraView上多写一个TextView显示分析结果。