openCV【实践系列】7——面部标志检测学习资料

在本教程中，我们将学习如何完全自动地从照片中消除红眼。如何自动删除红眼？第1步：眼睛检测第一步是自动检测眼睛。我们使用标准的OpenCV Haar检测器（haarcascade_eye.xml）来寻找眼睛。有时，首先运行面部检测器然后检测面部区域内的眼睛是有意义的。为了简单起见，我们直接在图像上运行眼睛检测器。当输入图像是人像拍摄，或者你有眼睛的特写镜头时，跳过面部检测器。第2步：遮住红眼睛接下来，我们需要找到受红眼影响的瞳孔部分。有许多不同的方法可以找到红色的东西。需要注意的一点是，我们的颜色不仅仅是红色，而是鲜红色！你可以根据色度和亮度将图像转换为HSV色彩空间和阈值。在这篇文章中，我们使用了一种更简单的启发式方法。我们说他的红色通道应该大于阈值，也是绿色和蓝色通道的总和。出于概念验证系统的目的，启发式是足够的，但如果你想为商业软件包构建自动防红眼，你需要收集成千上万的红眼图像才能做出更好的东西。在下面的代码中，我们遍历我们在上一步中检测到的所有眼睛矩形。然后我们使用命令split将彩色图像分割成三个通道。最后，我们为每个像素创建一个掩码，其中红色通道高于阈值（150），红色通道大于绿色和蓝色通道的总和。代码：

for (x, y, w, h) in eyes: # 从图像中提取眼睛的位置 eye = img[y:y+h, x:x+w] # 将眼睛图像分离成3通道 b = eye[:, :, 0] g = eye[:, :, 1] r = eye[:, :, 2] # 添加绿色和蓝色通道 bg = cv2.add(b, g) # 简单的红眼检测器 mask = (r > 150) &(r > bg) # 将掩码转换为uint8格式 mask = mask.astype(np.uint8)*255

3步：清理瞳孔掩码

文章图片
图1：左：基于颜色的瞳孔掩模中间：填充孔的瞳孔掩模右：膨胀瞳孔掩模在上一步中创建的掩模很可能会有洞。图1中的左图显示了使用颜色处理获得的原始掩模。我们使用下面分享的代码删除了掩码中的洞。

def fillHoles(mask): maskFloodfill = mask.copy() h, w = maskFloodfill.shape[:2] maskTemp = np.zeros((h+2, w+2), np.uint8) cv2.floodFill(maskFloodfill, maskTemp, (0, 0), 255) mask2 = cv2.bitwise_not(maskFloodfill) return mask2 | mask

此外，膨胀掩模是一个好主意，以便于它覆盖了比需要的区域稍大。这是因为在边界处颜色逐渐消失，并且在我们的最初掩模中可能没有捕捉到一些红色。在图1中，右图是膨胀的掩模。我们使用下面分享的代码来膨胀掩模。

# 通过填充孔和膨胀来清理掩模 mask = fillHoles(mask) mask = cv2.dilate(mask, None, anchor=(-1, -1), iterations=3, borderType=1, borderValue=https://www.it610.com/article/1)

【openCV【实践系列】7——面部标志检测】4步：修复红眼
现在我们有一个只包含每只眼睛红色区域的掩模。我们接下来展示如何处理这个掩模内的区域以修复红眼。我们知道红眼睛会使图像中的红色通道饱和。换句话说，红色通道中的所有信息都被破坏。我们怎样才能恢复这些信息呢？修复红眼时，我们不需要在红色通道中检索真正的底层纹理; 我们只需要找到合理的纹理。幸运的是，红眼效果仅在红色通道中破坏纹理; 蓝色和绿色通道仍然很好。您可以在下图中看到图像的红色，绿色和蓝色通道

文章图片
图2：左：红色通道中间：蓝色通道右：绿色通道可以使用绿色和蓝色通道的组合来提供合理的红色通道。例如，我们可以创建一个红色通道，它是图像中绿色和蓝色通道的平均值。然而，这样做可能会给瞳孔带来轻微的色调，看起来不错，但不是很好。注意中心图像中的紫色调

文章图片
图3：左：红眼中间：通过更换红色通道修复右：通过更换所有通道修复
这给我们带来了一个重要问题。瞳孔的颜色应该是什么？瞳孔是眼睛的开口，眼睛的内部是完全黑暗的。因此，瞳孔应该是无色的（灰度）和黑暗的。我们不是仅仅替换瞳孔区域中的红色通道，而是用绿色和蓝色通道的平均值替换所有通道，这就消除了紫色调。下面的代码首先通过平均绿色和蓝色通道来创建平均通道。然后用该平均通道替换所有通道的掩模区域内的所有像素

# 通过平均绿色和蓝色通道值来计算平均通道 #Recall, bg = cv2.add(b, g) mean = bg / 2 mask = mask.astype(np.bool)[:, :, np.newaxis] mean = mean[:, :, np.newaxis] # 从初始图像中复制眼睛 eyeOut = eye.copy() # 将平均图像复制到输出图像 np.copyto(eyeOut, mean, where=mask)

步骤5：更换修复的眼睛区域在上一步中，我们修复了三个通道。最后一步是合并三个通道以创建RGB图像，然后将此修复的眼睛区域放回原始图像中。代码：

# 将修复的眼睛复制到输出图像 imgOut[y:y+h, x:x+w, :] = eyeOut

自动红眼消除结果我们首先在开始的示例图像上显示结果。

文章图片
图4：红眼消除结果请注意，从瞳孔掩模区域移除所有颜色会使图像看起来很漂亮，因为眼睛中心的点是完全白色的。还要注意，在瞳孔的边界上红色消失，但是由于膨胀操作，我们仍然可以捕获到该区域。 openCV【实践系列】7——面部标志检测
https://bbs.easyaiforum.cn/thread-854-1-1.html
(出处: 易学智能)