在神经网络中,下列哪种激活函数在输入值非常大或非常小时,梯度会趋近于零,导致梯度消失问题?
答案解析
核心考点:激活函数及其梯度特性。
解题思路分析:Sigmoid 和 Tanh 函数在输入值过大或过小时,函数值趋于饱和,其导数趋近于零,导致梯度消失。ReLU和Leaky ReLU在正区间梯度为常数,负区间梯度为0或较小的值,相对不易出现梯度消失。
选项分析:
A. ReLU:在正区间梯度为1,在负区间梯度为0,不会出现饱和,不符合题目描述。
B. Sigmoid:在输入值过大或过小时,函数值趋于饱和,导致梯度趋近于零,符合题目描述。
C. Leaky ReLU:在负区间梯度不为0,一定程度上缓解了ReLU的梯度消失问题,不符合题目描述。
D. Tanh:在输入值过大或过小时,函数值趋于饱和,导致梯度趋近于零,符合题目描述。
易错点提醒:Sigmoid和Tanh都存在梯度消失问题,但Sigmoid在神经网络中使用的更早更广泛,更容易被作为梯度消失的例子。
正确答案:B