图像金字塔
近似金字塔和残差金字塔 图像金字塔是图像中多尺度表达的一种,最主要用于图像的分割,是一种以多分辨率来解 释图像的有效但概念简单的结构。图像金字塔最初用于机器视觉和图像压缩,一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。其通过梯次向下采样获得,直到达到某个终止条件才停止采样。
拉普拉斯金字塔:用来从金字塔低层图像重建上层未采样图像,在数字图像处理中也即是预测残差,可以对图像进行最大程度的还原,配合高斯金字塔一起使用。拉普拉斯金字塔中 的图像可用对高斯金字塔中相邻两层图象的相减而近似得到。需先将图像在较粗的尺度(较高的层次)上扩展。扩展比减少尺寸的压缩困难,因为缺少的信息需要通过插值来得到。
实验思想
如何获得图像金字塔 如果第 j 级图像表示为 imj(x, y),第 j ? 1 级图像为 im(j ? 1)(x, y),可以通过以下的计算方式得到:
步骤 1:首先进行高斯低通滤波,按照课本中的内容,这次滤波使用空域中对应的高斯低通滤波器。
步骤 2:通过滤波可以得到近似图像,之后对图像进行以 2 位基的下采样。步骤 3:重复上面的操作。依次可以得到各个低阶图像。
如何获得残差金字塔 获得残差金字塔的方法是,利用低一阶的图像进行插值复原,也就是以 2 为基的上采样。计算步骤如下:
步骤 1:首先通过线性插值得到完成上采样的图像。
步骤 2:利用上一级的图像与其相减,得到图像之差,即为本阶的残差图像步骤 3:重复上面的操作。依次可以得到各阶残差图像。
图像金字塔代码
图像金字塔 主函数:
%% 运行 exp73.m 获得图像金字塔clc;
clear;
close all;
%% 课本图 7.3
% 读取图片
im = imread('demo-1.jpg');
% 原始图像 uint8
% 得到图像的行数、列数、以及每像素的维数(防止出现RGB图像)
[line,row,v]=size(im);
im = im(:,:,1);
%% 近似金字塔 使用空域的高斯的低通滤波 两倍下采样
im_1 = myAverage(im);
im_2 = myAverage(im_1);
im_3 = myAverage(im_2);
% 也可以使用频域的低通滤波,但是还原程度不如空域的操作
% im_1 = Guss(im,200);
% im_2 = Guss(im_1,200);
% im_3 = Guss(im_2,200);
%% 得到预测残差金字塔 使用双线性内插
im_e1 = im - uint8(255*mat2gray(myBilinear(im_1,2,2)));
im_e2 = im_1 - uint8(255*mat2gray(myBilinear(im_2,2,2)));
im_e3 = im_2 - uint8(255*mat2gray(myBilinear(im_3,2,2)));
%% 将结果保存到当前目录下的result文件夹下
imwrite(im_1, sprintf('result/_%s.jpg', 'rank_8'));
imwrite(im_2, sprintf('result/_%s.jpg','rank_7'));
imwrite(im_3, sprintf('result/_%s.jpg','rank_6'));
imwrite(im_e1, sprintf('result/_%s.jpg','left_9'));
imwrite(im_e2, sprintf('result/_%s.jpg', 'left_8'));
imwrite(im_e3, sprintf('result/_%s.jpg', 'left_7'));
%% 显示结果
figure(1);
subplot(241);
imshow(im);
title('原图(9级)');
axis on
subplot(242);
imshow(im_1);
title('一次(8级)');
axis on
subplot(243);
imshow(im_2);
title('两次(7级)');
axis on
subplot(244);
imshow(im_3);
title('三次(6级)');
axis on
subplot(245);
imshow(im_e1);
title('残差(9级)');
axis on
subplot(246);
imshow(im_e2);
title('残差(8级)');
axis on
subplot(247);
imshow(im_e3);
title('残差(7级)');
axis on
subplot(248);
imshow(im_3);
title('三次(6级)');
axis on
功能函数:
function [img_2] = myAverage(img_1)size_1 = size(img_1);
h = size_1(1);
w = size_1(2);
img_2 = zeros(h, w);
%%边缘延拓两行两列
a = img_1(1,:);
b = img_1(h,:);
img_1 = [a;
img_1;
b];
c = img_1(:,1);
d = img_1(:,w);
img_1 = double([c,img_1,d]);
%3X3均值模板
L = 1/16*[1 2 1;
2 4 2;
1 2 1];
for i= 1:h
for j = 1:w
im = [img_1(i,j) img_1(i,j+1) img_1(i,j+2);
...
img_1(i+1,j) img_1(i+1,j+1) img_1(i+1,j+2);
...
img_1(i+2,j) img_1(i+2,j+1) img_1(i+2,j+2)];
img_2(i,j) = round(sum(sum(L.*im)));
end
end%图像下采样
M = floor(h/2);
N = floor(w/2);
im_p = zeros(M,N);
for x = 0:1:M-1
for y = 0:1:N-1
im_p(x+1,y+1) = img_2(2*x+1,2*y+1);
end
end
img_2 = uint8(im_p);
end
function im_p = Guss(im,D0)[M,N] = size(im);
%图像进行二位傅里叶变换,之后移动到中心点
im_double = mat2gray(im,[0 255]);
im_F = fftshift(fft2(im_double));
% 空域 > 频域%图像进行高斯低通滤波
H = zeros(M,N);
for u = -M/2:1:M/2-1
for v = -N/2:1:N/2-1
D = (u)^2+(v)^2;
if (D == 0)
H(u + M/2 + 1,v + N/2 + 1) = 1;
else
H(u + M/2 + 1,v + N/2 + 1) = exp(-D/(2*D0^2));
end
end
endim_G = H .* im_F;
%图像反变换
im_g_double = real(ifft2(ifftshift(im_G)));
im_p = im2uint8(mat2gray(im_g_double));
function [im_b] = myBilinear(im, Rh,Rl)
%双线性内插算法
[line,row] = size(im);
%图像补零
im = [im;
im(line,:)];
im = [im,im(:,row)];
im = double(im);
%新的行数和列数,预分配内存
line_n = round(Rh * line);
row_n = round(Rl * row);
%向量化循环,防止溢出
x_n = 1 : line_n;
y_n = 1 : row_n;
%投影回去的位置
x = x_n * (line - 1) / (line_n - 1) + (line_n - line) / (line_n - 1);
y = y_n * (row - 1) / (row_n - 1) + (row_n - row) / (row_n - 1);
%对原坐标取整
i_x = floor(x);
i_y = floor(y);
%周围点的距离
u_x = x - i_x;
u_y = y - i_y;
w_x = 1 - u_x;
w_y = 1 - u_y;
%根据距离确定权重,得到插值后的图像
im_b(x_n,y_n) = w_x' * w_y .* im(i_x,i_y) + w_x' * u_y .* im(i_x,i_y + 1)...
+ u_x' * w_y .* im(i_x + 1,i_y) + u_x' * u_y .* im(i_x + 1,i_y + 1);
%im_b = uint8(im_b);
end
实验结果
在本次实验中,首先对原图求出来四阶图像金字塔,之后利用插值进一步得到残差金字塔。实验结果如下:
文章图片
图一:空域滤波的图像金字塔
文章图片
图二:空域滤波的残差金字塔
如上图所示,通过空域的高斯低通滤波得到图像金字塔,之后与原图像求差值,可以得到残差金字塔。之后还使用了频域的高斯滤波尝试得到图像金字塔和残差金字塔,得到的结果如图所示。
文章图片
图三:频域滤波的图像金字塔
文章图片
图四:频域滤波的残差金字塔
可以看出使用空域的模板时不会直接消除高频的噪声,但是在使用频域的高斯低通滤波器时,可以在第一次时,消除大部分高频噪声,之后的残差图像变得更加稀疏,有利于存储
实验分析
【数字图像处理|数字图像处理5(图像金字塔)】从上述实验结果可以看出,使用空域的高斯滤波器可以得到书中一致的图像金字塔和拉普拉斯金字塔,效果较好,但是压缩效率可能会略低于频域的高斯滤波器处理结果。频域的处理的计算时间和计算量也要大于空域的处理。
推荐阅读
- 数学建模|matlab的基本使用
- 深度学习|在Android上部署TF目标检测模型
- 计算机视觉|ResNet结构以及残差块详细分析
- 算法|2021谷歌年度AI技术总结 | Jeff Dean执笔万字展望人工智能的5大未来趋势!
- 机器学习|残差块及ResNet残差网络
- 深度学习|草图转换网络(SketchyGAN 和 style2paints)
- 计算机视觉|Opencv 基于C++识别绿灯
- python|OpenCV-Python实战(21)——OpenCV人脸检测项目在Web端的部署
- 目标检测|目标检测算法的分类和优缺点