2023.2.1
一、全连接层神经网络：
之前学习的神经网络称为
全连接神经网络
（ Fully-Connected），它的特点就是相邻层所有的神经元都有联接，通过Affine层实现全连接层。
在全连接层神经网络中，Affine层后面跟着激活函数ReLU层（或者Softmax层）。Softmax层输出最终的概率；
关于Affine层可以查看这篇文章：
“深度学习”学习日记。误差反向传播法–Affine/Softmax层的实现_Anthony陪你度过漫长岁月的博客-CSDN博客
误差反向传播法Affine/softmax层的实现
https://blog.csdn.net/m0_72675651/article/details/128719989
二、卷积神经网络的结构：
卷积神经网络
（Convolution Neural Network，
CNN
），相比较于全连接层神经网络，CNN中新添加了
卷积层
和
池化层。
CNN的连接顺序是 “Convolution-ReLU-Pooling”，以此代替”Affine-ReLU”的连接；
在CNN中，靠近输出层中使用了“Affine-ReLU”组合，输出层使用了“Affine-Softmax”组合，二Convolution-ReLU-Pooling也可以将Pooling（省略） 。这些组合都是一般CNN中常见的结构；
理解卷积神经网络可以参照这个视频：什么是卷积神经网络CNN？【知多少】
