一、期望也可以称为均值假设每次的预测值为$f(x1),f(x2),f(x3)...,f(x_n)$每个预测值的概率分别为$P(x1),P(x2),P(x3)....$则期望为：$\hat{f(x)}=p(x1)*f(x1) + p(x2)*f(x2) + p(x3)*f(x3) $二、方差(与真实值无关)度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动造成的影响。描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。---摘自《机器学习》，周志华$var(x) = \frac{1}{n} \sum_{t=1}^{n}(f(x_{t})-\hat{f})^2$三、偏差度量学习算法的期望预测与真实结果的偏离程度，也叫拟合能力。描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。---摘自《机器学习》，周志华$bias^2(x) = (\hat{f(x)}-y)^2$y：真实值
概率论是统计学的基石。一、概率论概率论是知因求果，已经完全获知了事物的本质即分布规律后，运用于具体的事例。概率论是由概率分布推断样本性质，如大数定律、中心极限定理。二、统计学而数理统计是执果索因，我们手上只有一些事例的表观信息，要寻求它们背后共同遵从的规律。统计是由样本信息反推概率分布，如概率分布参数的点估计、区间估计，以及线性回归。三、联系在现实中二者结合很紧密。通过样本训练出概率分布，相当于老师不断教学生知识（样本），让学生大脑形成当前对象的模型；在学生学会了之后，就相当于这个模型（概率分布）成型了，就可以自己去推导、产生知识（样本）。