引言 在机器视觉中，有时需要对产品进行检测和计数。其难点无非是对于产品的图像分割。
【#|opencv实战——机器视觉检测和计数】由于之前网购的维生素片，有时候忘了今天有没有吃过，就想对瓶子里的药片计数...在学习opencv以后，希望实现对于维生素片分割计数算法。本次实战在基于形态学的基础上又衍生出基于距离变换的分水岭算法，使其实现的效果更具普遍性。
基于形态学的维生素片检测和计数
整体思路：

1. 读取图片
2. 形态学处理(在二值化前进行适度形态学处理，效果俱佳)
3. 二值化
4. 提取轮廓(进行药片分割)
5. 获取轮廓索引，并筛选所需要的轮廓
6. 画出轮廓，显示计数

opencv实现：

int main(int argc, char** argv) { Mat src, src_binary,dst,src_distance; src = https://www.it610.com/article/imread("D:/opencv练习图片/维生素片机器视觉检测和计数.png"); imshow("原图片", src); Mat kernel = getStructuringElement(MORPH_RECT, Size(16, 16), Point(-1, -1)); morphologyEx(src, dst, MORPH_OPEN, kernel); imshow("形态学",dst); cvtColor(dst, dst, COLOR_RGB2GRAY); threshold(dst, src_binary, 100, 255, THRESH_OTSU); imshow("二值化", src_binary); vector contours; findContours(src_binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE, Point(0, 0)); RNG rng(12345); double area; Point2i PL; for (size_t i = 0; i < contours.size(); i++) { area = contourArea(contours[i]); if (area < 500)continue; PL = contours[i].front(); Scalar color = Scalar(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255)); drawContours(src, contours, i, color, 2, 8); putText(src, to_string(i), PL, FONT_HERSHEY_COMPLEX, 1, color, 2); } imshow("计数结果", src); waitKey(0); return 0; }

效果展示：


文章图片

文章图片

文章图片

由上图可以看的，原图在经过形态学处理后，可以去除很多细节，简化后续的药片分割操作。
但是在计数结果图上发现，索引17号药片并没有完全分割(实际上修改形态学的结构元素尺寸(改为20*20)也可以完全分离这两个药片)。
这不由得让我们思考，如果简单的形态学处理分割不了药片呢？
对于复杂的产品图片，我们可以使用基于距离变换的分水岭算法对其分割。
基于距离变换的分水岭算法检测和计数
OpenCV 采用了基于标记点的分水岭算法，在这种算法中我们要设置哪些山谷点会汇合，哪些不会。这是一种交互式的图像分割。我们要做的就是给我们已知的对象打上不同的标签(即添加注水点)。然后实施分水岭算法。每一次灌水，我们的标签就会被更新，当两个不同颜色的标签相遇时就构建堤坝，直到将所有山峰淹没，最后我们得到的边界对象(堤坝)的值为 -1。
对于如何打上标签(即添加注水点)有两种办法：
opencv中，对于一张二值化的图像，后续处理方式有两种。第一种方式就是利用findContours、drawContours等函数进行轮廓分析(opencv以对轮廓的处理为主)。第二种方式就是计算连通域进行区域分析。
第一种(基于轮廓)：在二值化后，对图像寻找轮廓findContours，筛选出注水区域轮廓，然后通过drawContours对轮廓标记。
第二种(基于区域)：在二值化后，先对寻找图像中的前景图(即注水点)，再寻找到背景图(进行膨胀)，最后找到未知区域(背景减去前景，得到边缘图)，通过connectedComponents()获取标记点。
相关API:

• 分水岭函数watershed函数原型

void watershed( InputArray image, InputOutputArray markers );

第一个输入参数 image，必须是CV_8UC3类型图像。
第二个输入/输出参数markers必须是32位单通道图像。和image尺寸一样。包含不同区域的轮廓，每个轮廓有一个自己唯一的编号。
在执行watershed函数后，算法会根据markers传入的轮廓作为种子，对图像上其他的像素点根据分水岭算法规则进行判断，并对每个像素点的区域归属进行划定，直到处理完图像上所有像素点。而区域与区域之间的分界处的值被置为“-1”，以做区分。

• 距离变换函数distanceTransform函数原型

距离变换运算用于计算二值化图像中的每一个非零点距自己最近的零点的距离，距离变换图像上越亮的点，代表了这一点距离零点的距离越远。
距离变换通常用于求解图像的骨骼和查找物体的质心(即获取距离变换的极大值)和计算非零像素到最近零像素点的最短距离。

int distanceType, int maskSize，int dstType = CV_32F

第一个输入参数src，必须是CV_8UC1类型的二值图像(只有0或1)
第二个输出参数dst，表示的是计算距离的输出图像，输出类型是CV_32F/CV_8U的单通道图像，大小与输入图片相同。
第三个参数distanceType，表示的是选取距离的类型，可以设置为DIST_L1,DIST_L2,DIST_C
第四个参数maskSize，表示的是距离变换的掩膜模板，可以设置为3，5(常用3)
第四个参数dstType，表示输出类型,可选择CV_32F/CV_8U
注：若输出类型为CV_32F，想要显示距离变换后的骨架图像，需要对其归一化。(normalize)

先来看看第一种标记mark(基于轮廓)的方法：
(一)读入图像，形态学，二值化(消除噪声)

Mat src, src_binary, dst, src_distance; src = https://www.it610.com/article/imread("D:/opencv练习图片/维生素片机器视觉检测和计数.png"); imshow("原图片", src); Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1)); morphologyEx(src, dst, MORPH_OPEN, kernel); imshow("形态学", dst); cvtColor(dst, dst, COLOR_RGB2GRAY); threshold(dst, src_binary, 100, 255, THRESH_OTSU); imshow("二值化", src_binary);


文章图片

文章图片

文章图片
(二)距离变换(归一化显示)，再二值化

distanceTransform(src_binary, src_distance, DIST_L2, 3, 5); normalize(src_distance, src_distance, 0, 1, NORM_MINMAX); imshow("距离变换", src_distance); threshold(src_distance, src_distance, 0.4,1, THRESH_BINARY); imshow("再二值化", src_distance);

文章图片

文章图片

经过距离变换后的二值化，可以清晰看到，药片以及完全分割开来。
(三)打上标签(添加注水点),基于轮廓

//寻找标记点marsk的轮廓信息 也就是分水岭的水坝 src_distance.convertTo(src_distance, CV_8UC1); vector contours; findContours(src_distance, contours, RETR_TREE, CHAIN_APPROX_SIMPLE); //创建maker Mat markers = Mat::zeros(src.size(), CV_32S); ////因为分水岭后的边缘存储是-1，所以必须使用有符号的CV_32S for (size_t t = 0; t < contours.size(); t++) { drawContours(markers, contours, static_cast(t), Scalar(static_cast(t) + 1), -1); //轮廓数字编号 } circle(markers, Point(5, 5), 30, Scalar(255), -1); //关键代码(mark做一个小标记) int index1 = 0; //打印轮廓数据 有值的均为轮廓线 for (int row = 0; row < markers.rows; row++) for (int col = 0; col < markers.cols; col++) { index1 = markers.at(row, col); cout << index1 << ","; }

部分标签markers轮廓数据截图，可以看到0代表背景，轮廓线用正数索引标识。

文章图片

(四)进行分水岭操作，并给分水岭后的区域随机上色，并打印出检测的药片个数。

// 生成随机颜色 vector colors; for (size_t i = 0; i < contours.size(); i++) { int r = theRNG().uniform(0, 255); int g = theRNG().uniform(0, 255); int b = theRNG().uniform(0, 255); colors.push_back(Vec3b((uchar)b, (uchar)g, (uchar)r)); }// 颜色填充与最终显示 Mat dst1 = Mat::zeros(markers.size(), CV_8UC3); int index = 0; for (int row = 0; row < markers.rows; row++) { for (int col = 0; col < markers.cols; col++) { index = markers.at(row, col); if (index > 0 && index <= contours.size()) { dst1.at(row, col) = colors[index - 1]; } else { dst1.at(row, col) = Vec3b(0, 0, 0); }} } imshow("结果显示", dst1); printf("药片检测个数: %d\n", contours.size());

文章图片

文章图片


文章图片


再来看看第二种标记mark(基于区域)的方法：
(一)读入图像，形态学，二值化(消除噪声)

Mat foreground, background, unkonwn; //创建前景，背景,未知区域 Mat src, src_binary, dst, src_distance; src = https://www.it610.com/article/imread("D:/opencv练习图片/维生素片机器视觉检测和计数.png"); imshow("原图片", src); Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1)); morphologyEx(src, dst, MORPH_OPEN, kernel); imshow("形态学", dst); cvtColor(dst, dst, COLOR_RGB2GRAY); threshold(dst, src_binary, 100, 255, THRESH_OTSU); imshow("二值化", src_binary);

文章图片

文章图片

(二)对二值化图像进行膨胀操作，得到大部分是背景的图片

//得到背景图片 dilate(src_binary, background, kernel, Point(-1, -1), 3); imshow("背景图片", background);

文章图片

(三)通过对二值图像距离变换得到前景图片(即注水点)

//距离变换 distanceTransform(src_binary, src_distance, DIST_L2, 3, 5); imshow("距离变换", src_distance); normalize(src_distance, src_distance, 0, 255, NORM_MINMAX); double my_minv = 0.0, my_maxv = 0.0; minMaxIdx(src_binary, &my_minv, &my_maxv); threshold(src_distance, foreground, 0.4 * my_maxv, 255, THRESH_BINARY); foreground.convertTo(foreground, CV_8U); imshow("前景图片", foreground);

文章图片

(四)通过背景与前景的差值，得到未知区域(即边缘所在区域)

//得到未知区域 unkonwn = background - foreground; imshow("未知区域", unkonwn);

文章图片

(五)得到这些区域以后，我们可以获取注水点的标签，通过connectedComponents实现(即获取markers标签)

//创建标记点markers Mat markers = Mat(src.size(), CV_32S); int num = connectedComponents(foreground, markers, 8); cout << num << endl; markers = markers + 1; for (int i = 0; i < unkonwn.rows; i++) { for (int j = 0; j < unkonwn.cols; j++) { if (((int)unkonwn.at(i, j)) == 255) { markers.at(i, j) = 0; } } }

详细理解该步骤：
现在我们已经知道哪些是背景，哪些是药片(前景区域)。
因此我们可以创建一个标签(和原图大小，类型为CV_32S)，通过connectedComponents函数对前景区域进行标记
连通域相关博文：opencv——连通域标记与分析 - 唯有自己强大 - 博客园 (cnblogs.com)
该函数会对前景区域连通域分析，并将背景设定为0，其他区域从1开始正整数标记(这就是我们的种子，水漫时会从这里漫出)，结果返回给markers。
但是对于分水岭算法，会将为0的区域认为是未知区域，因此要markers整体加一。
(六)进行分水岭操作，并显示边缘

watershed(src, markers); for (int row = 0; row < markers.rows; row++) { for (int col = 0; col < markers.cols; col++) {if (markers.at< int>(row, col) == -1) { src.at(row, col) = Vec3b(0, 0, 255); } } }imshow("结果", src);

文章图片

由于分水岭算法会将找到的边缘在markers置为-1,因此我们对原图操作，将索引为-1的位置的像素值改为红色(即显示边缘)。
参考链接：OpenCV---分水岭算法 - 山上有风景 - 博客园 (cnblogs.com)
(8条消息) c++和opencv小知识：基于距离变换的分水岭算法(固定流程)_梦游城市的博客-CSDN博客
(8条消息) OpenCV分水岭算法图像分割_冰冰bing的博客-CSDN博客

推荐阅读

• 

  初晖同县张堪素有名称文言文翻译 初晖同县张堪素有名称译文原文
• 

  军恋是一种什么体验？
• 

  汽车刹车怎么调整
• 

  这是我见过最全面的Python装饰器详解！没有学不会这种说法！
• 

  教育优惠苹果官网打几折，macbook pro 教育优惠多少钱
• 

  使用分支 -- Git branch 命令
• 

  如何看待幼师这个行业？
• 

  ps如何在石头上刻字 Photoshop中在石头上刻字的相关操作教程
• 

  养成游戏在线，养成类游戏
• 

  基于ad三极管放大电路实验结果分析,差动放大电路实验结果分析及结论
• 

  银行大额存单什么时候发行
• 

  日立中央空调夏天不制冷是怎么造成的,按照这个步骤来检修下
• 

  中国最初的菜系是否是四大菜系？鲁菜是唯一的源发菜系吗？
• 

  win7ie浏览器打开闪退如何解决
• 

  redis copyonwrite redis可以复制吗
• 

  德贝里克空调显示故障代码E7的解决方法,你知道如何处理吗？
• 

  发梦梦见请吃饭 发梦梦见请吃饭什么意思
• 

  Java集合框架超详细小结
• 

  奥克斯空调显示f5怎么办是什么原因造成的
• 

  新科液晶电视高压板电路原理是什么,可能跟这些关系大

• python|基于OpenCV实战（动态物体检测）
• Opencv项目实战|Opencv项目实战（04 全景图片拼接）
• 机器学习|分布式机器学习---数据与模型划分
• 牛客|Python快速刷题网站——牛客网 数据分析篇（十一）
• 废掉小脑阔的错误|上采样、下采样区别及作用
• #|优化算法|MOAVOA（一种新的多目标人工秃鹰优化算法（Matlab代码实现））
• #|(Matlab)基于蝙蝠算法实现电力系统经济调度
• #|混合动力电动车优化调度与建模（发动机，电机，电池组等组件建模）（Matlab代码实现）
• 阿里灵杰融合智能算力，全栈AI服务为探索者铺路