一、卷积有关概念

1.卷积

其本质上是一种互相关函数计算或者是图像处理中的空间滤波器


数学中卷积，主要是为了诸如信号处理、求两个随机变量和的分布等而定义的运算，所以需要“翻转”是根据问题的需要而确定的

卷积神经网络中“卷积”，是为了提取图像的特征，其实只借鉴了“加权求和”的特点

另外数学中的“卷积核”都是已知的或者给定的，卷积神经网络中“卷积核”本来不是给定的，是根据数据训练学习的。

2.卷积核

其实就是一个矩阵，它的作用就是提取特征，不同卷积核提取的特征不同，网络训练的目的就是提高卷积核提取特征的能力。

3.多通道

对多通道图像进行卷积需要使用与图像图像相同的卷积核进行卷积，卷积核的每个通道对应着图像中相应的通道图像，一对一卷积，最后将每个通道的卷积后图像对应位置的卷积值相加，得到一个1通道的特征图。

多通道卷积结果的通道数==卷积核数



4.特征图

卷积的到的结果就是特征图

5.特征选择

不同卷积核可用来刻画不同选择性，要根据想要提取的图像特征选择不同的卷积核。

二、不同卷积核的作用

1.边缘检测



因为用这个滤波器卷积相当于求导的离散版本，将当前的像素值减去前一个像素值得到这个函数在这两个位置的差别或者斜率。

2.锐化



实际上就是计算当前点和周围点的差别，然后将这个差别加到原来的位置上，使对比度增加，图像更加清晰锐利。

3.模糊



模糊就是使点之间的对比度变小，将像素值调整为与周围点像素值近似的值。

三、编程实现

程序代码

import numpy as np
import torch
from torch import nn
from torch.autograd import Variable
import torch.nn.functional as F
from PIL import Image
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号 #有中文出现的情况，需要u'内容

file_path = '1.jpg'
im = Image.open(file_path).convert('L')  # 读入一张灰度图的图片
im = np.array(im, dtype='float32')  # 将其转换为一个矩阵
print(im.shape[0], im.shape[1])
plt.imshow(im.astype('uint8'), cmap='gray')  # 可视化图片
plt.title('原图')
plt.show()

im = torch.from_numpy(im.reshape((1, 1, im.shape[0], im.shape[1])))
conv1 = nn.Conv2d(1, 1, 3, bias=False)  # 定义卷积

sobel_kernel = np.array([[-1, -1, -1],
                         [-1, 8, -1],
                         [-1, -1, -1]], dtype='float32')  # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3))  # 适配卷积的输入输出
conv1.weight.data = torch.from_numpy(sobel_kernel)  # 给卷积的 kernel 赋值

edge1 = conv1(Variable(im))  # 作用在图片上

x = edge1.data.squeeze().numpy()
print(x.shape)  # 输出大小

plt.imshow(x, cmap='gray')
plt.show()

（1）边缘检测

sobel_kernel = np.array([[-1, -1, -1],
                         [-1, 8, -1],
                         [-1, -1, -1]], dtype='float32')  # 定义轮廓检测算子

（2）锐化

sobel_kernel = np.array([[0, -1, 0],
                         [-1, 5, -1],
                         [0, -1, 0]], dtype='float32')  # 卷积核

（3）模糊

sobel_kernel = np.array([[0.0625, 0.125, 0.0625],
                         [0.125, 0.25, 0.125],
                         [0.0625, 0.125, 0.0625]], dtype='float32')  # 卷积核

（4）调整经典卷积核参数

1、边缘检测中心权重越低，图像对边缘的检测效率越低



2.锐化周围的权重越低，锐化程度越大



3.模糊周围像素权重越大，模糊程度越大



（5）

使用不同分辨率图片，边缘检测不同



有点不太清晰

（6）探索更多类型卷积核

浮雕：

sobel_kernel = np.array([[-2, -1, 0],
                         [-1, 1, 1],
                         [0, 1, 2]], dtype='float32')  # 定义轮廓检测算子

（7）

彩色图片边缘检测

import numpy as np
import torch
from torch import nn
from torch.autograd import Variable
import torch.nn.functional as F
from PIL import Image
import matplotlib.pyplot as plt
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号 #有中文出现的情况，需要u'内容
# https://blog.csdn.net/weixin_40123108/article/details/83510592
file_path = 'p.png'
im = Image.open(file_path)  # 读入一张的图片
im = np.array(im, dtype='float32')  
print(im.shape[0], im.shape[1])
im=np.transpose(im,(2,1,0))
im=im[np.newaxis,:]
conv1 = nn.Conv2d(3, 3, 3, bias=False)  # 定义卷积
sobel_kernel = np.array([[-1, -1, -1],
                         [-1, 8, -1],
                         [-1, -1, -1]], dtype='float32')/3  # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3))  # 适配卷积的输入输出
sobel_kernel=np.repeat(sobel_kernel,3,axis=1)#数组，次数，维度
sobel_kernel=np.repeat(sobel_kernel,3,axis=0)
conv1.weight.data = torch.from_numpy(sobel_kernel)  # 给卷积的 kernel 赋值

edge1 = conv1(Variable(torch.from_numpy(im)))  # 作用在图片上
x = edge1.data.squeeze().numpy()
print(x.shape)  # 输出大小
x=np.transpose(x,(2,1,0))
plt.imshow(x, cmap='gray')
plt.title('彩色')
plt.show()

有点图片按照上面的方式就运行不出来，看别人的说是因为通道数不一样，这种方式只适用于RGB三通道的。

四、总结

这次的实验对我来说还是有一定的困难，因为对程序代码的使用都不太熟练，但是这次实验也让我对卷积的理解更为深入了，也知道如何利用不同的卷积核达到不同的处理图像效果。