在神经网络中,下列哪种激活函数在输入值非常大或非常小时,梯度会趋近于零,导致梯度消失问题?

答案解析

核心考点:激活函数及其梯度特性。 解题思路分析:Sigmoid 和 Tanh 函数在输入值过大或过小时,函数值趋于饱和,其导数趋近于零,导致梯度消失。ReLU和Leaky ReLU在正区间梯度为常数,负区间梯度为0或较小的值,相对不易出现梯度消失。 选项分析: A. ReLU:在正区间梯度为1,在负区间梯度为0,不会出现饱和,不符合题目描述。 B. Sigmoid:在输入值过大或过小时,函数值趋于饱和,导致梯度趋近于零,符合题目描述。 C. Leaky ReLU:在负区间梯度不为0,一定程度上缓解了ReLU的梯度消失问题,不符合题目描述。 D. Tanh:在输入值过大或过小时,函数值趋于饱和,导致梯度趋近于零,符合题目描述。 易错点提醒:Sigmoid和Tanh都存在梯度消失问题,但Sigmoid在神经网络中使用的更早更广泛,更容易被作为梯度消失的例子。
正确答案:B
随机推荐
开始刷题