一、熵

熵代表物体内部的混乱程度。（一件事发生的不确定性）

熵应用到分类任务中

二、激活函数

Sigmoid函数：

Tanh函数：

Relu函数：

三、回归分析

回归分析是寻找存在相关关系的变量间的数学表达式，并进行统计推断的一种统计方法

主要有两种分类方式：

• 根据变量的数目，可以分类一元回归、多元回归
• 根据自变量和因变量的表现形式，分为线性与非线性

回归分析的一般步骤：

1. 确定回归方程中的解释变量和被解释变量
2. 确定回归模型建立回归方程
3. 对回归方程进行各种检验
4. 利用回归方程进行预测