关于ReLU和Sigmoid激活函数，在深度神经网络的中间层，建议使用ReLU。

A、ReLU非线性激活函数的收敛速度比Sigmoid快一些

B、在限制神经元总数的情况下，增加网络的宽度要比增加网络的深度能带来更强的网络表示能力

C、激活函数为Tanh的深层神经网络可以看成一个复合的非线性多元函数

D、输入一个300*300的彩色图，经过10个5*5的卷积核，隐层的参数量为750（包括偏置）

此题为判断题(对，错)。

A、1-f(x)

B、f(x)[1-f(x)]

C、1/f(x)-1

D、f(x)[1+f(x)]

A、可以

B、不可以

C、看情况

D、其他都不正确

A、取Tanh或Sigmoid函数作为激活函数，做梯度下降时，偏导数是一堆小数在做乘法，容易导致网络梯度消失。

B、Tanh函数相对于Sigmoid函数来说梯度较小，收敛速度更快更慢

C、Sigmoid函数相对于Tanh函数来说更容易导致梯度消失

D、ReLU可以减少循环神经网络的梯度消失问题

A、卷积层使用卷积+ReLU+batch normalization的结构

B、mini-batch的batch值越大越好

C、增加池化层的个数可以提高网络训练参数，但降低了网络性能

D、激活函数尽量选择Sigmoid等函数，提高网络的非线性拟合能力

B、sigmoid;relu

C、relu;sigmoid

D、tanh;relu

A、缓解了梯度消失问题

B、提高l网络训练速度

C、梯度为0时神经元难以正常工作

D、开销小、计算快

A、BP算法是从输入层开始，逐层计算δ信号调整自身权重，并且将δ信号传向后一层

B、BP算法的出现解决了多层神经网络权重调整困难的问题

C、BP算法的核心是对隐含层神经元误差E的估计

D、BP算法对多层网络训练时使用的sigmoid激活函数存在“梯度弥散”问题

A、对激活函数的输出结果进行范围限定，有助于梯度平稳下降，而ReLU输出范围无限的函数会导致梯度消失问题。

B、ReLU函数中所有负值均被截断为结果0，从而导致特征丢失，可适当调高学习率避免此类情况。

C、在神经网络训练中，动态调整学习率综合考虑当前点的梯度、最近几次训练误差的降低情况等效果更好。

D、随机梯度下降（SGD）每次更新只随机取一个样本，按照固定学习率计算梯度，所以速度较快。