目录

线性判别分析的原理

LDA的降维过程如下

---

 线性判别分析（LDA） 是一种有监督的线性降维算法。

与PCA不同，LDA是为了使降维后的数据点尽可能地容易被区分

线性判别分析的原理

---

线性判别分析是对于给定的训练集，设法将样本投影到一条直线上，使得同类的投影点尽可能接近，异类样本的投影点尽可能远离；

在对新样本进行分类时，将其投影到这条直线上，再根据投影点的位置来确定新样本的类别。

PCA主要是从特征的协方差角度，去找到比较好的投影方式。

LDA更多地考虑了标注，即希望投影后不同类别之间数据点的距离更大，同一类别的数据点更紧凑

LDA的降维过程如下

---

计算数据集中每个类别下所有样本的均值向量

通过均值向量，计算类间散布矩阵 𝑆𝐵 和类内散布矩阵𝑆𝑊

依据公式𝑆𝑊 ^−1 * 𝑆𝐵 *𝑈 = 𝜆𝑈 进行特征值求解，计算𝑆𝑊^−1 * 𝑆𝐵的特征向量和特征值

按照特征值排序， 选择前k个特征向量构成投影矩阵U

           通过 Y = X × U 的特征值矩阵将所有样本转换到新的子空间中