山东大学软件学院2022-2023第二学期深度学习及应用期末考试回忆版
前言
1、考试时间：2023/6/8 16:10 – 18:10
2、考试科目：深度学习及应用（老师：ZhangXinXin）
3、考题语言：中文
4、考试形式：闭卷
5、题型：名词解释、简答、计算
6、考后感悟：总体而言，考试比较简单。但是复习过程比较麻烦，主要是内容太多了。
7、笔记：
深度学习期末复习
一、名词解释（4*5’=20’）
1、权重衰减
对大的权重进行惩罚、来抑制过拟合。
2、分布式假设
某个单词的含义由它周围的单词组成。
3、随机梯度下降
使用随机选择的mini batch数据，沿梯度方向更新参数，并重复步骤多次，从而逐渐靠近最优参数的过程叫做SGD。
4、梯度消失
梯度的大小随时间步长呈指数级减少。
二、简答题（6*10’=60’）
1、写出损失函数的定义，并给出两个损失函数。
答：用来估量模型的输出与真实值之间的差距，给模型的优化指引方向，即损失函数。
均方误差:
E =
1
2
∑
k
(
y
k
−
t
k
)
2
\frac{1}{2} \sum_{k} ({y_k – t_k} )^2
2
1
∑
k
(
y
k
−
t
k
)
2
交叉熵误差：前者为单个数据，后者为全部数据
E
=
−
∑
k
t
k
log
y
k
E = -\sum_{k} t_k \log_{}{y_k}
E
=
−
∑
k
t
k
lo
g
y
k
\space
E
=
−
1
N
∑
n
∑
k
t
n
k
log
y
n
k
E = – \frac{1}{N}\sum_{n}\sum_{k} t_{nk} \log_{}{y_{nk}}
E
=
−
N
1
∑
n
∑
k
t
nk
lo
g
y
nk
2、CNN的池化操作及其特性。
池化是缩小高、长方向上的空间的运算。有最大池化、平均池化。
特性：
1. 没有要学习的参数。
2. 通道数不发生变化。
3. 对微小的位置变化具有鲁棒性（健壮）。
3、Batch-Normalization的原理及计算过程。
答：为以进行学习时的mini-batch为单位，按mini-batch进行正规化。具体而言，就是进行使数据分布的均值为0、方差为1的正规化。
4、循环神经网络和卷积神经网络的不同点。
1.RNN主要用于序列数据的处理，例如自然语言文本、时间序列数据等;RNN的主要特点是它可以将前面的信息传递到后面的计算中，因此它可以捕捉到序列数据中的时间依赖关系。
2.CNN主要用于图像和语音等信号数据的处理;CNN的输入和输出都是一个固定大小的张量;CNN的主要特点是它可以通过卷积操作来提取图像中的局部特征，并且可以通过池化操作来减少特征图的大小。
5、sigmod函数和阶跃函数的相同点及不同点。
相同点：
1. 二者都是非线性函数
2. 输入较小时，输出接近0；输入较大时，输出接近1。
不同点：
1. 二者平滑性不同
2. 阶跃函数只能返回0或1信号，而sigmod函数可以返回0-1之间的实数
3. sigmod的导数在任何地方都不为0，阶跃函数的导数在绝大多数地方都为0。
6、画出LSTM的基本基本结构，并说明三个门的作用。
答：
1.输出门：管理下一个隐藏状态ht的输出的门
2.遗忘门：忘记不必要记忆的门
3.输入门：判断新增信息 g 的各个元素的价值有多大。输入门不会不经考虑就添加新信息，而是会对要添加的信息进行取舍。
三、计算题
给出函数f(a,b,c)=5(a+bc)，完成下面计算。
(1) 画出计算图。当a=7,b=5,c=3时，输出结果为多少？
(2）根据计算图，计算
d
f
d
a
\frac{df}{da}
d
a
df
,
d
f
d
b
\frac{df}{db}
d
b
df
,
d
f
d
c
\frac{df}{dc}
d
c
df
。
答:
当a=7,b=5,c=3时，输出结果为5*（7+5*3）=110
(2)
d
f
d
a
\frac{df}{da}
d
a
df
= 5 ；
d
f
d
b
\frac{df}{db}
d
b
df
= 5c ；
d
f
d
c
\frac{df}{dc}
d
c
df
= 5b
结尾
考题并不是很难，但是要准备复习的东西比较多。
注：以上题目的答案均个人理解，如有错误，欢迎指出。
点
个
赞
呗
~
点
个
赞
呗
~
点
个
赞
呗
~