认识深度学习与 PyTorch一. 深度学习、机器学习与人工智能的关系人工智能、机器学习与深度学习并非并列关系而是一层套一层的包含关系人工智能 (AI)最宽泛的概念旨在让机器展现出智能。机器学习 (ML)实现 AI 的一种手段核心在于从数据中学习。深度学习 (DL)机器学习的一个子集主要利用多层神经网络来解决更为复杂的非线性问题。神经网络 (NN)深度学习的算法架构基础灵感源于生物大脑的神经元连接。二. 机器学习中的基本概念在正式建模前必须明确数据的组成结构1. 样本、特征与标签样本 (Sample)数据集中的每一行代表一个独立的对象或事件。特征 (Feature)描述样本属性的维度(即矩阵的列XXX)。标签 (Label)我们要预测的目标结果(即向量yyy)。在这个数据表中横向的每一行就是样本(samples)是我们收集到的一条条数据。(每条样本就是一朵花)每一行前的数字是样本的索引(Index)也就是每一朵花的编号这个编号对于每一个样本而言是独一无二的。数据表中的列表示每个样本的一些属性在机器学习中我们称其为特征(features)也叫做字段或维度注意这里的维度与二维表的维度可不是相同的含义前者指的是n的大小(特征的个数)后者指的是.shape后返回的数字的个数(2维表的维度就是2)。最后的一列是标签(label)也叫做目标变量(target或者target variable)。标签也是样本的一种属性通常来说它是我们希望算法进行预测、判断的问题的正确答案。如问题是一朵花是什么类型的花“这个数据表中的标签就是是哪一种花”。在经典机器学习中因为数据表总是由一个个的特征组成所以我们一般把数据表(不包括标签的部分)称之为特征矩阵往往使用大写且加粗的XXX来表示同样的我们使用字母xxx表示每个特征。在深度学习的高维张量的操作中我们一般不会再区分行列而是认为每个索引对应的对象就是一个样本。比如结构[32,1,28,28]实际上就是32个三维Tensor所组成的四维Tensor这32个三维Tensor就是32张图片也就是32个样本而这些三维Tensor所包含的内容也就是32个样本分别对应的特征。由于我们所使用的张量往往是高于两个维度的因此我们不能称其为矩阵因此对于深度学习我们一般称特征所在的张量叫做特征张量。同样的我们还是用大写且加粗的XXX来表示特征张量。由于数据是非结构化的所以标签也不会位于数据的最后一列之列的。在深度学习中标签几乎100%是和数据集分开的不过这些标签看起来都很普通和机器学习中的标签差不多2. 算法分类有监督 vs 无监督有监督学习 (Supervised Learning)数据有标签。模型通过特征预测标签(如房价预测、猫狗分类)。无监督学习 (Unsupervised Learning)数据无标签。模型自动寻找数据内部的结构(如聚类分析)。3. 任务类型分类 vs 回归回归 (Regression)标签是连续数值(如预测具体的股价、温度)。分类 (Classification)标签是离散类别(如判断是男还是女是猫还是狗)。4. 如何判断我的模型是一个好模型现代机器学习算法大约有几十个每年还有许多新的算法在被提出从中选出效果优秀、符合需求的模型也是机器学习中的重要课题。为此我们需要模型的评价机制。如何判断模型是一个好模型呢在这里我们提出模型的评估三角模型预测效果在机器学习能够落地的场景模型进行判断/预测的效果一定是我们追求的核心目标。在工业场景如人脸识别中如果模型效果不能达到几乎100%准确那我们就无法使用算法代替人工检查因为没有人可以承担算法判断失败之后的责任。因为相似的理由深度学习在医疗领域的应用永远只能处于“辅助医务人员进行判断”的地位。在一些其他场景如推荐系统虽然模型的效果可能不需要达到近乎100%的准确但优秀的推荐系统所带来的效应是非常强大的而效果不够好的算法则是又昂贵又失败的代码罢了。对于不同类型的算法我们有不同的模型评估指标我们依据这些评估指标来衡量模型的判断/预测效果。如线性回归的评估指标之一SSE也就是真实值与预测值的差异的平方和。在之后的学习中我们会展开来谈不同算法的评估指标。运算速度能够同时处理大量数据、可以在超短时间内极速学习、可以实时进行预测是机器学习的重要优势。如果机器学习的判断速度不能接近/超越人类那规模化预测就没有了根基。如果算法的运算速度太慢也不利于调优和实验。同时运算缓慢的算法可能需要占用更多的计算和储存资源对企业来说成本会变得更高。事实上现代神经网络做出的许多改进以及算法工程师岗位对于数据结构方面的知识要求都是为了提升神经网络的运算速度而存在的的。在模型效果不错的情况下保障运算速度较快是机器学习中重要的一环。可解释性(深度学习属于锦上添花要求不高)机器学习是一门技术是一门有门槛的技术曲高客寡大众注定不太可能在3、5分钟之内就理解机器学习甚至深度学习算法的计算原理。但是技术人员肩负着要向老板客户同事甚至亲朋好友解释机器学习在做什么的职责否则算法的预测结果很可能不被利益相关人员所接受。尤其是在算法做出一些涉及到道德层面的判断时可解释性就变得更加重要——例如前段时间闹得沸沸扬扬的UBER算法解雇UBER司机事件UBER算法在司机们违规之前就预测他们会违约因而解雇了他们从算法的角度来看没什么问题但由于UBER无法向司机们解释算法具体的运行规则司机们自然也不会轻易接受自己被解雇的事实。幸运的是随着人工智能相关知识的普及人们已经不太在意深度学习领域的可解释性了因为神经网络在预测效果方面的优势已经全面压倒了它在其他方面的劣势。但在机器学习的其他领域可解释性依然是非常关键的问题。服务于业务只有服务于业务或服务于推动人类认知的研究算法才会具有商业价值。一个能100%预测你明天午饭内容的算法或许对个人而言非常有用解决了人生三大难题之一午饭吃什么但不会有公司为它投资也不会有人希望将它规模化。机器学习算法的落地成本很高因此企业会希望看到算法落地后确定的商业价值。只有资金流动技术才能持续发展算法才能继续发光发热。在传统机器学习领域评估三角的因素缺一不可但在深度学习领域没有什么比效果好、速度快更加重要。如果还能有一部分可解释性那就是锦上添花了。当我们在训练深度学习模型时我们会最优先考虑模型效果的优化同时加快模型的运算速度。每时每刻我们都是为了模型效果或预算速度而行动的。记住这一点它会成为日后我们学习任何新知识时的动力。三. 模型的评估与泛化能力一个好的模型不应只是在已知数据上表现好更重要的是在未知数据上的泛化能力。1. 数据集的划分为了客观评价模型通常将数据分为训练集 (Train Set)用于训练模型让模型学习特征与标签的关系。测试集 (Test Set)模型从未见过的新数据用于验证模型的真实水平。2. 避坑提醒过拟合如果模型在训练集上评分极高但在测试集上评分极低说明模型记住了答案而非学会了规律这种现象称为过拟合 (Overfitting)。四. 深入认识 PyTorch 框架PyTorch 能够成为目前主流的深度学习框架核心在于其动态性与易用性。1. PyTorch 的核心优势动态计算图 (Dynamic Computational Graph)代码即运行调试方便符合 Python 程序员的习惯。原生支持 OOP模型构建基于面向对象思想结构清晰。强大的生态拥有 torchvision, torchtext 等丰富的扩展库。支持eager model类似在jupyter notebook的运行方式可以每写几行代码就运行并返回相应的结果通常在研究原型时使用。天生支持巨量数据和巨大神经网络的高速运算灵活性高足以释放神经网络的潜力并且在保留灵活性的同时又有Python语法简单易学的优势支持研究环境与生产环境无缝切换调试成本很低2. PyTorch 核心模块梳理现在PyTorch中的模块主要分为两大类原生Torch库下用于构建灵活神经网络的模块以及成熟AI领域中用以辅助具体行业应用的模块。两大模块的层次是并列的当我们导入库的时候我们是这样做importtorchimporttorchvision实际上在我们对PyTorch进行安装的时候我们也是同时安装了torch和torchvision等模块。当我们需要优化算法时我们运行的是fromtorchimportoptim五. 深度学习建模的一般流程# 1. 数据准备 (使用 torch.utils.data)# 2. 定义模型结构 (继承 torch.nn.Module)# 3. 定义损失函数与优化器 (torch.nn torch.optim)# 4. 训练循环# - 前向传播 (Forward Propagation)# - 计算损失 (Calculate Loss)# - 反向传播 (Backward Propagation)# - 参数更新 (Optimizer Step)# 5. 模型评估与部署总结深度学习的本质就是通过海量数据利用反向传播和梯度下降不断迭代优化神经网络中的权重参数从而实现对复杂规律的逼近。