openCV【实践系列】7——面部标志检测

在本教程中,我们将学习如何完全自动地从照片中消除红眼。 如何自动删除红眼? 第1步:眼睛检测 第一步是自动检测眼睛。我们使用标准的OpenCV Haar检测器(haarcascade_eye.xml)来寻找眼睛。有时,首先运行面部检测器然后检测面部区域内的眼睛是有意义的。为了简单起见,我们直接在图像上运行眼睛检测器。当输入图像是人像拍摄,或者你有眼睛的特写镜头时,跳过面部检测器。 第2步:遮住红眼睛 接下来,我们需要找到受红眼影响的瞳孔部分。有许多不同的方法可以找到红色的东西。需要注意的一点是,我们的颜色不仅仅是红色,而是鲜红色!你可以根据色度和亮度将图像转换为HSV色彩空间和阈值。在这篇文章中,我们使用了一种更简单的启发式方法。我们说他的红色通道应该大于阈值,也是绿色和蓝色通道的总和。出于概念验证系统的目的,启发式是足够的,但如果你想为商业软件包构建自动防红眼,你需要收集成千上万的红眼图像才能做出更好的东西。 在下面的代码中,我们遍历我们在上一步中检测到的所有眼睛矩形。然后我们使用命令split将彩色图像分割成三个通道。最后,我们为每个像素创建一个掩码,其中红色通道高于阈值(150),红色通道大于绿色和蓝色通道的总和。 代码:

for (x, y, w, h) in eyes: # 从图像中提取眼睛的位置 eye = img[y:y+h, x:x+w] # 将眼睛图像分离成3通道 b = eye[:, :, 0] g = eye[:, :, 1] r = eye[:, :, 2] # 添加绿色和蓝色通道 bg = cv2.add(b, g) # 简单的红眼检测器 mask = (r > 150) &(r > bg) # 将掩码转换为uint8格式 mask = mask.astype(np.uint8)*255

3步:清理瞳孔掩码 openCV【实践系列】7——面部标志检测
文章图片
图1:左:基于颜色的瞳孔掩模 中间:填充孔的瞳孔掩模 右:膨胀瞳孔掩模 在上一步中创建的掩模很可能会有洞。图1中的左图显示了使用颜色处理获得的原始掩模。我们使用下面分享的代码删除了掩码中的洞。
def fillHoles(mask): maskFloodfill = mask.copy() h, w = maskFloodfill.shape[:2] maskTemp = np.zeros((h+2, w+2), np.uint8) cv2.floodFill(maskFloodfill, maskTemp, (0, 0), 255) mask2 = cv2.bitwise_not(maskFloodfill) return mask2 | mask

此外,膨胀掩模是一个好主意,以便于它覆盖了比需要的区域稍大。这是因为在边界处颜色逐渐消失,并且在我们的最初掩模中可能没有捕捉到一些红色。在图1中,右图是膨胀的掩模。我们使用下面分享的代码来膨胀掩模。
# 通过填充孔和膨胀来清理掩模 mask = fillHoles(mask) mask = cv2.dilate(mask, None, anchor=(-1, -1), iterations=3, borderType=1, borderValue=https://www.it610.com/article/1)

【openCV【实践系列】7——面部标志检测】4步:修复红眼
现在我们有一个只包含每只眼睛红色区域的掩模。我们接下来展示如何处理这个掩模内的区域以修复红眼。 我们知道红眼睛会使图像中的红色通道饱和。换句话说,红色通道中的所有信息都被破坏。我们怎样才能恢复这些信息呢?修复红眼时,我们不需要在红色通道中检索真正的底层纹理; 我们只需要找到合理的纹理。 幸运的是,红眼效果仅在红色通道中破坏纹理; 蓝色和绿色通道仍然很好。您可以在下图中看到图像的红色,绿色和蓝色通道 openCV【实践系列】7——面部标志检测
文章图片
图2:左:红色通道 中间:蓝色通道 右:绿色通道 可以使用绿色和蓝色通道的组合来提供合理的红色通道。例如,我们可以创建一个红色通道,它是图像中绿色和蓝色通道的平均值。然而,这样做可能会给瞳孔带来轻微的色调,看起来不错,但不是很好。注意中心图像中的紫色调 openCV【实践系列】7——面部标志检测
文章图片
图3:左:红眼 中间:通过更换红色通道修复 右:通过更换所有通道修复
这给我们带来了一个重要问题。瞳孔的颜色应该是什么?瞳孔是眼睛的开口,眼睛的内部是完全黑暗的。因此,瞳孔应该是无色的(灰度)和黑暗的。我们不是仅仅替换瞳孔区域中的红色通道,而是用绿色和蓝色通道的平均值替换所有通道,这就消除了紫色调。 下面的代码首先通过平均绿色和蓝色通道来创建平均通道。然后用该平均通道替换所有通道的掩模区域内的所有像素
# 通过平均绿色和蓝色通道值来计算平均通道 #Recall, bg = cv2.add(b, g) mean = bg / 2 mask = mask.astype(np.bool)[:, :, np.newaxis] mean = mean[:, :, np.newaxis] # 从初始图像中复制眼睛 eyeOut = eye.copy() # 将平均图像复制到输出图像 np.copyto(eyeOut, mean, where=mask)

步骤5:更换修复的眼睛区域 在上一步中,我们修复了三个通道。最后一步是合并三个通道以创建RGB图像,然后将此修复的眼睛区域放回原始图像中。 代码:
# 将修复的眼睛复制到输出图像 imgOut[y:y+h, x:x+w, :] = eyeOut

自动红眼消除结果 我们首先在开始的示例图像上显示结果。 openCV【实践系列】7——面部标志检测
文章图片
图4:红眼消除结果 请注意,从瞳孔掩模区域移除所有颜色会使图像看起来很漂亮,因为眼睛中心的点是完全白色的。还要注意,在瞳孔的边界上红色消失,但是由于膨胀操作,我们仍然可以捕获到该区域。 openCV【实践系列】7——面部标志检测
https://bbs.easyaiforum.cn/thread-854-1-1.html
(出处: 易学智能)

    推荐阅读