http://blog.17baishi.com/11613/

定义：

伯努利分布是假设随机变量x取值要么为0，要么为1，取1发生的概率为p，那么取0的概率是1-p

详细参考：

https://zhuanlan.zhihu.com/p/259571672

一、sigmoid 函数

1.公式

$y(x) = \frac{1}{1+e^{-x}}$

2.图像

3.性质

• (1)$y'= y*(1-y)$
• (2)$y'$导数的最大值为：1/4

4.作用

一般做神经网络最后一层的二分类来用

二、softmax函数

1.公式

$y(x)=\frac{e^xi}{\sum_{i=1}^m e^xi}$

2.图像

softmax没有图像，刻画的是百分比，解释图像为

4.作用

一般做神经网络最后一层的多分类来用

三、tanh函数

1.定义

$y(x)=\frac{e^x - e^{-x}}{e^x + e^{-x}}$

2.图像

3.性质

• (1)$y'= 1- y^2$
• (2)$y'$导数的最大值为：1

四、RELU函数

1.定义

2.图像

参考文献
1.https://blog.csdn.net/u014665013/article/details/86600489