机器学习模型训练三大步骤建模找函数Function with Unknown Parameters定义损失函数Loss FunctionDefine Loss from Training Data优化Optimization对于二分类问题得模型定义理想情况下想到的可能是1.Function with Unknown Parameters假定模型为一个函数如果带入使得则输出为第一类Class 1否则为Class 22.Define Loss from Training Data定义为表示通过模型分类训练集错误的次数。3.Optimization上述的模型与损失函数在优化时没办法进行微分也就没办法使用梯度下降所以需要采取别的方法。Generative Model另一种利用概率定义的模型思路如下Generative Model生成模型对于二分类问题我们要解决的问题是任意给定一个通过模型输出它属于哪个分类。这就类似于给定两个箱子每个箱子里有两种球任意拿出一个球计算它更可能来自哪个盒子。如下所示Box1有4个蓝球1个绿球Box2有2个蓝球3个绿球取出一个蓝球计算它来自第一个盒子的概率已知从Box1抽球的几率为2/3从Box2抽球的几率为1/3这就用到了数学上的贝叶斯公式将两个盒子Box1、Box2换成Class 1、Class 2即可只要计算出就可以知道来自哪个种类的几率最大就可以完成二分类问题。而要计算就需要知道这就需要从训练数据training data中估测出来。上述介绍的思路也是Generative Model生成模型的基本思路Generative Model 是通过学会数据的 “真实分布”然后自己生成新数据的模型它不是用来分类、检测、回归的而是用来画图、写文字、生成语音视频等。Generative Model本质上是学习也就是数据本身的概率分布学会分布之后它就可以从这个分布里采样来生成全新的、没见过的数据。假设你有一堆真实图片 / 文字它们服从某个复杂分布Generative Model要学一个模型分布训练目标是使尽可能逼近训练完成后从里采样得到新数据。上述二分类问题介绍的思路是最简单的Generative Model的使用场景通过就可以得到假设我们的数据样本有140个每个样本两个特征feature其中79个来自Class 161个来自Class 2那么对于79个样本记录如下横纵轴分别为一个特征feature一个点代表一个样本。图中均为已知的训练样本但是任意取一它大概率不会在这79个样本中所以要求解需要考虑总体分布。由于只存在随机取样的79个样本我们假设服从多元高斯分布Gaussian Distribution这是因为现实中很多自然现象 / 测量数据都是大量独立微小因素叠加的结果根据中心极限定理这类数据的分布会趋近于高斯分布。因此用高斯分布建模是对现实的合理近似。一维高斯分布的概率密度函数其中为均值分布的中心位置为方差分布的离散程度是标准差图形如下二维高斯分布的概率密度函数其中表示均值向量描述分布的中心为协方差矩阵描述各维度之间的相关性和离散程度为协方差矩阵的行列式以二维高斯分布为例图像如下不同的参数对其分布的影响如下对多维高斯分布中的解释协方差矩阵Covariance Matrix 是描述多维数据分布形状的核心参数它完整刻画了数据在各维度上的离散程度与维度间的相关性。对维特征协方差矩阵是一个的对称矩阵对角线元素是第维特征的方差描述该维度数据的离散程度。非对角线元素是第维和第维特征的协方差描述两者的线性相关性表示正相关表示负相关表示线性无关若是对角矩阵且对角元素相等 → 各维度独立且方差相同分布是正球形。若非对角元素不为 0 → 维度间存在相关性分布会呈现椭球形长轴方向对应相关性强 / 方差大的方向。如果输入维特征各特征之间没有关系相互独立那么此时的非对角线元素均为0。有了高斯分布和随机取样的79个样本数据后需要根据已有的这79个数据找到最有可能的那个高斯分布。只要找到高斯分布将任意点代入公式即可得到它的概率。找这个高斯分布的方法叫做最大似然估计Maximum Likelihood Estimation, MLE其核心思想是找到一组参数让观测到的训练数据出现的概率最大。即对于符合高斯分布的79个数据点它们出现的概率为最大似然估计的目的就是找到找到使得最大即对求偏导并令其为 0解得通过上述公式计算得到Class1和Class2最可能的高斯分布如下由此可以通过高斯分布求出接下来我们就可以进行分类问题的如果那就属于Class1。否则为Class2但是最终的分类结果并不理想这可能是因为此任务两个特征量不足以进行分类任务后续我增加至7个特征量输入为7维来进行二分类任务但是出现了Overfitting。所以接下来要考虑优化模型其中一个优化方向是使所有类别共用一个而不是一个类别有一个这样做的主要目的是为了减少参数若每个类别都有独立的​参数总量为为类别数为特征维度在高维场景下有限样本会导致​ 估计极不稳定甚至不可逆模型容易过拟合共用后参数仅为鲁棒性大幅提升。理论上若真实分布中各类别​ 差异很大共用会引入建模偏差此时用独立更准确。实际上当样本量有限、特征维度较高时过拟合的危害远大于建模偏差共用能获得更好的泛化性能而且类别间的核心差异主要体现在均值​ 上共用不会丢失关键判别信息依然能有效分类。除此之外共用一个可以使贝叶斯决策边界分类边界退化为线性函数模型更简单、可解释性更强、推理速度更快。如下所示二分类问题的分类边界由曲线变为直线。具体原理会在后续推导分类任务中的共用的计算方式是按类别样本数加权平均其中为第类的样本数有了优化思路所以接下来的二分类任务就变成了最大似然估计找到使我们对公式做一些改变令则而也就是我们之前学过的Sigmoid函数对继续化简求解如果则最终化简得所以可以把写成也就很好解释了共用一个可以使贝叶斯决策边界分类边界变为直线。Discriminative ModelDiscriminative Model判别模型中的逻辑回归Logistic Regression实现的分类就是直接使用线性模型然后经过Sigmoid函数转换为0~1之间的数值用来表示概率。即设计的模型function set为训练数据及标签值为对于模型中的最好的能够实现正确分类参数和是使下式最大最大似然估计即而对于二分类问题我们一般将类别的输出写成或等于1代表属于第一个类别等于2代表属于第二个类别。根据二元交叉熵损失PyTorch_conda-CSDN博客上式可以改写成即上述的式就是该模型的损失函数优化目标就是使它最小。优化的方法就是使用梯度下降Gradient Descent根据经过以下计算最终得到,代入得所以使用梯度下降更新的公式为线性回归Linear Regression的损失函数是它的更新公式和逻辑回归的是一模一样的只是两者的输出区间不同。Logistic Regression的输出在0~1标签值是0或1Linear Regression的输出和标签值为任意实数。为什么Logistic Regression的损失函数不使用Mean Square Error而是用Cross Entropy我们可以尝试使用Mean Square Error模型为损失函数为梯度下降进行偏导求解后得如果此时而此时通过模型计算的求偏导后如果此时而此时通过模型计算的求偏导后也就是说无论结果离目标远还是近最终的偏导都为0这意味着一旦离目标远参数更新很慢或者不更新。具体可以看下图参数与损失函数之间的关系黑色表示Cross Entropy红色表示Mean Square Error如果一开始随机选的参数距离最低点较远对于Cross Entropy计算出的偏导较大可以快速更新到Loss最低点对于Mean Square Error计算出的偏导很小更新很缓慢甚至不更新。Discriminative VS Generative在上述实现二分类的过程中Discriminative和Generative的模型function set都是一样的在Discriminative中我们直接通过模型找而Generative中需要先找到然后利用公式求解尽管两者的模型function set相同但是找到的最优是不相同的主要是因为Discriminative Model判别模型直接学习后验概率即只关注 “输入时输出类别 C 的概率”不关心本身的分布目标是让模型预测和真实标签尽可能一致。而Generative Model生成模型先学习类条件分布和先验再通过贝叶斯公式得到 在求解时我们假设为高斯分布这种分布假设这相当于给参数加上了 “先验约束”这种约束让生成模型的参数空间更小比如 LDA 中必须满足这个由高斯分布导出的形式而逻辑回归的可以是任意方向。经过实验在数据量充足、分布复杂的场景下判别模型Discriminative的正确率通常高于生成模型Generative这是因为判别模型直接聚焦分类任务没有被错误的分布假设拖累而生成模型需要同时建模数据分布容易因假设偏差或过拟合导致分类性能下降。换句话说就是判别模型的所有参数都为 “区分类别” 服务完全贴合分类任务本身而生成模型必须对做分布假设一部分参数被用于拟合数据分布而非直接优化分类边界。生成模型Generative Model的优势主要基于其 “概率分布假设” 和 “生成数据” 的本质1.数据需求更少Less training data needed生成模型不只是在 “死记硬背” 答案而是在 “学习规律”。它通过假设数据服从某种分布如高斯分布利用数学原理强行拟合数据的底层结构。在训练样本很少的情况下判别模型容易过拟合而生成模型凭借强先验Strong Prior依然能稳定收敛达到不错的效果。2.对噪声更鲁棒More robust to the noise因为它是在学习整个数据的分布而不是直接学习输入到输出的映射判别模型看到噪声点可能会误判分类边界而生成模型看到的是 “整个世界的地图”噪声只是地图上的小点它依然能识别出核心的分布规律抗干扰能力更强3.多源信息融合Priors from different sources生成模型基于贝叶斯公式它可以将先验概率 P(C) 从独立的数据源中估计出来。判别模型很难利用这种外部统计信息。生成模型在以下几个维度是判别模型无法替代的1.小样本与低资源场景生成模型利用强分布假设用极少数据就能估算出均值和方差快速搭建分类器。2.核心能力“生成” 与 “想象”判别模型只能判断而生成模型能创造比如 GANs、Diffusion Model扩散模型、GPT它们学习了数据的分布后可以从噪声中生成全新的、逼真的图片、文字、语音。3.异常检测与缺失数据填补如果测试集出现了训练集中没有的异常数据判别模型它可能会胡乱给一个分类结果。而生成模型可以计算 P(x)如果一个数据 x 出现的概率极低它就判定为异常 / 噪声。同时它还能补全缺失的特征比如图片缺了一块生成模型能填好。Multi-class Classification以三分类问题为例如下图三个类别分别为每个Class都一组自己的。是输入即要分类的对象将放入三个种类分别线性计算后得到。然后经过一个Softmax其输出的取值均在0~1之间且和为1这时的输出就可以当作概率即。所以我们定义的多分类模型如下。其损失函数为CrossEntropyLoss交叉熵损失PyTorch_conda-CSDN博客。如果此属于Class1那么target如果属于Class2那么targetNeuron Network在介绍Neuron Network之前先介绍Logistic Regression的局限性如果数据集如下所示同一类别的数据它在坐标系上表示的点差距很大。假如此时输入为Class1那么我们会希望红点概率大于0.5蓝点小于0.5但是这个分类任务Logistic Regression做不到因为Logistic Regression本质上是找两个类别Class之间的分界线且这条分界线必须为直线。如下图所示我们无法找到这条分界线使得Class1和Class2分类开。解决办法是通过Feature Transformation来修改feature通过转换让Logistic Regression可以处理比如我们定义表示该点到的距离表示该点到的距离。则将四个点转换之后的图像就可以画出分界线上述的Feature Transformation是我们人为定义的转换规则人为定义有时不容易找到一个好的转换规则。所以我们想要机器自己产生这种转换规则方法就是将Logistic Regression堆叠起来下面只用了两层Logistic Regression第一层用于Feature Transformation第二层用于Classification如果多堆叠几层就变成了神经网络Neuron Network每一个Logistic Regression我们成为一个Neuron。