常用激活函数
一、sigmoid 函数
1.公式
$y(x) = \frac{1}{1+e^{-x}}$
2.图像
3.性质
- (1)$y'= y*(1-y)$
- (2)$y'$导数的最大值为:1/4
4.作用
一般做神经网络最后一层的二分类来用
这个函数非常适合将输入分为两类。它的形状很缓和,因此它的梯度能得到很好的控制。
主要的缺点是,在极端情况下,函数输出变得非常平坦。这意味着它存在梯度消失的问题。
二、softmax函数
1.公式
$y(x)=\frac{e^xi}{\sum_{i=1}^m e^xi}$
2.图像
softmax没有图像,刻画的是百分比,解释图像为
4.作用
一般做神经网络最后一层的多分类来用
三、tanh函数
1.定义
$y(x)=\frac{e^x - e^{-x}}{e^x + e^{-x}}$
2.图像
3.性质
- (1)$y'= 1- y^2$
- (2)$y'$导数的最大值为:1
4.作用
它与Sigmoid非常相似。函数曲线更陡峭,因此它的输出也将更强大。缺点与Sigmoid类似。
四、RELU函数
1.定义
线性整流函数(Linear rectification function),又称修正线性单元,是一种人工神经网络中常用的激活函数(activation function),通常指代以斜坡函数及其变种为代表的非线性函数。
f(x)=max(0,x)
2.图像
3.作用
它的输出范围从0到无穷大。这意味着它的输出可能会变得非常大,可能存在梯度爆炸问题。它还有个问题是左侧完全平坦,可能导致梯度消失。
ReLU计算简单,是神经网络内层最常用的激活函数。
参考文献
1.https://blog.csdn.net/u014665013/article/details/86600489