1.机器学习开发的迭代循环1.1 开发机器学习模型的过程这是开发机器学习模型时通常会有的感觉首先你需要决定系统的整体架构。这意味着选择你的机器学习模型以及决定使用什么数据可能还需要选择超参数。看一个简单的例子电子邮件是垃圾邮件如何构建一个分类器来识别垃圾邮件和非垃圾邮件呢一种方法是训练一个监督学习算法其中输入特征X是电子邮件的特征在机器学习开发的迭代循环中可能会有许多关于如何修改模型或数据的点子并且提出不同的诊断方法可以为你提供很多关于模型、数据或其他架构部分的选择的吧指导获得关于哪些架构选择可能是有益的见解的第二个关键是错误分析过程。1.2 错误分析在帮助你运行诊断选择下一步尝试的方法以提高学习算法性能方面我认为偏差和方差可能是最重要的概念而错误分析可能排在第二位。错误分析的一个局限性是对于人类擅长的问题来说它更容易进行对于人类不擅长的任务错误分析可能会更难一些。1.3 增加数据例如如果你正在尝试识别OCR(光学字符识别)问题中的0到Z字母0~9数字语音搜索的例子数据增强的一个技巧是你对数据所做的更改或扭曲,应代表测试集中可能出现的噪音或扭曲类型;相比之下通常向数据中添加纯粹随机的无意义噪音不是很有帮助;所以思考数据增强的一种方式是你如何修改或扭曲你的数据但以一种仍然非常类似于你在测试集中拥有的数据方式.现在虽然数据增强通过修改现有训练样本来创建另一个训练样本,还有一种技术是数据合成即从头开始创建全新的样本.数据合成最常用于计算机视觉任务较少用于其他应用程序,音频任务也不多这个使我们知道如何添加更多的数据以使学习算法更好的工作方面更加高效然而有些场景没有太多的数据有一种称为迁移学习的技术可以在这种情况下为学习算法的性能带来巨大的提升。即关键思想是从一个完全不同但相当相关的任务中获取数据通过神经网络有时可以利用来自不同任务的数据来使算法在应用中表现的更好。1.4 使用不同任务的数据进行迁移迁移学习的一个好处是你可能不需要亲自进行监督预训练与许多神经网络已经有研究人员在大规模图像上训练了神经网络并将他们训练好的神经网络发布在互联网上所以我们并不用亲自执行第一步只需下载别人的然后用自己的输出层替换输出层并执行选项1或选项2来微调神经网络以便快速获得一个在任务上表现良好的神经网络。预训练的一个限制是图像类型X在预训练和微调步骤中必须相同所以如果你想解决的最终任务是一个计算机视觉任务那么预训练步骤也必须是一个在相同类型输入上训练的神经网络即所需维度的图像。相反如果你的目标是构建一个用于处理音频的语音识别系统那么一个在图像上预训练的神经网络对音频可能不会有太大帮助。1.5机器学习项目的完整周期改进系统的细节1.6 公平性、偏见和伦理不可接受的偏见性例子一些不良使用案例或负面使用案例解决方法1.7 倾斜数据集的错误指标如果你正在处理一个机器学习应用其中正例与负例的比例非常倾斜远非50~50。那么事实证明像准确率这样的常见误差指标效果并不好。在处理偏斜数据集的问题时我们通常使用不同的误差指标而不是仅仅使用分类误差来判断你的学习算法的表现。特别是一对常见的误差指标是精确率和召回率我们将在幻灯片上定义所以当处理类别不平衡/稀有类别时精确率和召回率帮助你判断学习算法是否做出了良好的/有效的预测。现在有了这些指标来判断学习算法的性能在下一节将看到如何权衡精确率和召回率以尝试优化学习算法 的性能。1.8精确率与召回率的权衡高精度意味着如果它诊断出患有罕见疾病的患者很可能该患者确实患有该疾病这是准确的判断高召回率意味着如果存在患有该罕见疾病的患者算法很可能正确识别出他们确实患有该疾病二者之间存在权衡。想要自动权衡精确率和召回率还有F1分数的指标2.决策树2.1决策树模型为了解释决策树的工作原理本周将使用一个猫分类的例子作为贯穿始终的示例。你正在运营一个猫领养中心并希望通过几个特征来训练一个分类器以便快速判断一个动物是否是猫。决策树学习算法的任务是从所有可能的决策树中尝试挑选一个在训练集上表现良好并且理想情况下也能很好的泛化到新数据的数例如交叉验证和测试集。2.2 学习过程构建决策树的过程给定一个训练集有几个步骤。过程第一个关键决策是如何选择每个节点上使用的特征来进行分割第二个关键决定使决定何时停止分裂不同研究者对这个算法提出了不同的改进会有很多细节。接着下一节讨论下一个关键决策是如何决定在节点上进行分裂的看一下熵的定义这将是测量节点纯度或者不纯度的一种方法。2.3 测量纯度探讨方法熵是衡量样本集不纯度的一个指标。2.4 选择分割:信息增益如何使用熵来决定在决策树的节点上根据什么特征进行分割在决策树学习中熵的减少称为信息增益。2.5综合完整的构建决策树2.6 使用独热编码的分类特征刚才例子都是2个特征值如果取两个以上的离散值就要用独热编码来处理这类特征。如果看到任何一行恰有一个值1这就是这种特征构造方法被称为独热编码的原因因为这些特征中总有一个会取值1这就是‘热’特征因此得名独热编码通过这种特征选择回到了每个特征只能取两个可能值的原始设置所以独热编码不仅适用于决策树学习还允许你使用1/0对分类特征进行编码以便将其作为输入提供给神经网络神经网络期望输入为数字。2.7连续值特征接下来看看如何让决策树处理可以取任意值的连续值特。如何决定基于体重特征进行分割呢【尝试不同的阈值】为了让决策树在每个节点上处理连续值特征在考虑分割时只需考虑不同的分割值进行通常的信息增益计算并决定如果该连续值特征能提供最高可能的信息增益则在该特征上进行分割。2.8回归树将决策树推广为回归算法以便可以预测值。2.9使用多个决策树使用单一决策树的一个弱点是决策树对数据的微小变化非常敏感解决方法构建许多决策树称为树集成。使用树集成的原因是通过拥有许多决策树并让他们投票这使得整体算法对任何单一树的行为不那么敏感2.10带替换的采样为了构建一个树集成我们需要一种称为有放回抽样的技术为了说明有放回抽样是如何工作的将展示一个使用红色黄色绿色和蓝色四个令牌的有放回抽样演示。2.11 随机森林算法有了刚才有放回的抽取样本就可以开始构建第一个树集成算法。现在讨论的随机森林算法是一种非常强大的树集成树算法效果远优于使用单一决策树。这个算法随机采样替换过程导致算法探索了许多对数据的微小变化并且训练了不同的决策树并平均了采样替换过程导致的所有这些数据的变化除了随机森林还有一种算法表现的很好就是提升决策树接下来谈谈一种称为XG Boost的提升决策树算法。2.12 XGBoost现在最常用的决策树集成或决策树的实现方式是XGBoost算法运行速度快开源实现易于使用。如何工作呢最后会讨论何时用决策树何时用神经网络。2.13 何时用决策树决策树包括树集成以及神经网络都是强大的学习算法。看一下各自的优缺点3.无监督学习、推荐系统、强化学习3.1 总的概述4.无监督学习-----聚类算法4.1 什么是聚类聚类算法会查看一组数据点并自动找出相互关联或相似的数据点4.2 K均值直觉看一下K均值-聚类算法的作用K均值算法关键步骤就是第一根据最近的聚类中心将每个点分配给聚类中心第二将每个聚类中心移动到分配给它的所有点的均值4.3K均值算法现在详细写出K均值算法接下来会更深的了解K均值算法看到K均值实际是在优化一个特定的代价函数4.4优化目标前面学的监督学习算法通过使用训练集、设定代价函数然后使用梯度下降或其他算法来优化该代价函数刚才K均值算法也在优化一个特定的函数。代价函数在文献中也称为失真函数K均值算法优化代价函数J这一事实意味着它保证会收敛也就是说在每一次迭代中失真代价函数应该下降/保持不变4.5初始化K均值K均值聚类算法的第一步是选择随机的位置作为聚类的初始猜测从U1-U2在使用K均值算法时总是使用多次随机初始化因为它只是让K均值更好的最小化失真代价函数并找到更好的聚类中心选择4.6选择聚类数量K均值算法作为输入之一K希望找到的聚类数量如何得到聚类的数量呢》5.异常检测第二个无监督算法如何查看数据集并找到其中的异常或不寻常的事务异常检测算法会查看一个未标记的正常实践数据集并从中学习如何检测或标记异常事件5.1发现异常事件进行异常检测的最常见的方法是使用一种称为密度估计的技术即得到M个例子的训练集是首先要建立一个X的概率模型也就是学习算法将尝试找出特征x1和x2的哪些值具有高概率哪些是低概率出现为了使异常检测算法工作我们需要使用高斯分布来建模数据p(x)5.2高斯正态分布现在是当X是一个数字时高斯分布如何工作的这是只有一个特征的情况5.3异常检测算法现在构建异常检测算法看来构建异常检测的过程那么如何计算阈值/知道检测系统是否工作良好呢下面深入探讨检测系统性能。5.4 开发和评估异常检测系统一些实用技巧其中一个关键思想是如果你有一种方法可以在系统开发过程中对其进行评估你将能够更快地做出决策、更改系统并改进它。因此如果你只有少量已知异常的标记样本构建异常检测系统的过程会容易的多5.5异常检测与监督学习的对比当你有一些正样本(Y1)和大量负样本(y0)时你应该在什么时候使用异常检测什么时候使用监督学习下面给一些建议在构建异常检测算法时特征的选择非常重要5.6选择使用哪些特征在监督学习中如果特征不太正确通常没有关系因为算法有监督信号即足够的标签Y算法可以自行决定或略哪些特征/如何重新缩放从而重复利用你提供的特征但对于异常检测它仅从无标签数据中运行/学习算法更是难自行决定忽略哪些特征因此仔细选择特征对于异常检测更重要。接下来看一下如何调整特征以获得最佳性能6.推荐系统对于许多公司推荐系统对他们的收益挺大的将以运营一个大型电影流媒体网站你的用户可以1-5打分在这个推荐系统的框架下解决问题的一种可能方法是查看用户为评分的电影并预测用户对这些电影的评分这样我们可以尝试向用户推荐他们更有可能评为5分的电影。6.1使用项目特征如果每个项目的特征或每个电影的特征我们如何开发一个推荐系统接下来学习允许预测进行推荐即使没有提前获得描述电影项目的足够特征来运行算法。6.2 协同过滤算法如果没有特征x1和x2的值怎么学习呢这种协同过滤是从多个用户那里收集数据用户之间的协作帮助预测未来其他用户的评分6.3二进制标签:喜欢、点赞、点击现在模型推广到二元标签代价函数修改为更合适二元标签的逻辑回归这就是如何将类似线性回归的协同过滤算法来推广到处理二元标签。6.4 均值归一化这个方法使得对于那些评分很少甚至没有评分的用户给出更好的预测。6.5协同过滤的TensorFlow实现TensorFlow不仅是构建神经网络的工具也可以构建其他类型的学习算法好处:对于许多应用来说为了实现梯度下降要找到成本函数的导数TensorFlow可以自动计算出成本函数的导数我们只需实现成本函数不需知道任何微积分知识如果你的模型是一系列密集神经网络层或其他受TensorFlow支持的层类型那么旧的模型编译、模型拟合实现方法仍然有效。6.6发现相关项目如果购物一个商品那么下方会推荐你相关的商品网站是如何做到这一点呢尽管协同过滤是一组强大的算法但是也有一些局限性6.7协同过滤与基于内容的过滤对比接下来讲一下开发基于内容的过滤算法在协同过滤中我们有多个用户对不同项目进行评分而基于内容的过滤中我们有用户和项目的特征希望找到一种找到用户和项目之间的良好匹配我们将通过计算用户Vju和电影向量Vm然后计算他们之间的点积来尝试找到良好的匹配。6.8基于内容的过滤的深度学习接下来看一下在实际生活中如何修改算法以使其能够扩展到处理非常大的项目目录6.9从大型目录中推荐6.10推荐系统的伦理使用改进措施因此推荐系统是一种非常强大的技术非常有利可图6.11基于内容的过滤的TensorFlow实现了解代码的关键概念6.12减少特征数量分享一个无监督学习算法叫做主成分分析一个常用于可视化的算法即如果你有一个包含许多特征的数据集主成分分析(PCA)是一种算法它将允许你具有大量特征的数据减少到2-3个特征以便可以绘制并可视化它具体工作每当得到一个新的数据集通常做的是可视化数据有助于理解数据的样子因此PCA是一个强大的算法用于处理具有大量特征、大量维度/高纬度数据的数据并将其减少到2-3个接下来看一下PCA如何工作的6.13PCA算法如果你有一个包含两个特征x1,x2的数据集但希望用一个特征替换这2个特征如何选择一个新的轴即z轴以某种方式成为一个好的方式来捕捉/表示数据。PCA查看原始数据并选择一个或多个新坐标轴可能是z1,z2来表示数据通过将你的原始数据集投影到新坐标轴上就给出了一个较小的数字集可以用来可视化数据如何实现呢6.14PCA代码将介绍如何使用Scikit-learn库来实现PCA7.1 强化学习7.1什么是强化学习如何使用强化学习让直升机自己飞行呢强化学习算法的工作就是找出如何获得更好的好直升机的结果减少坏直升机结果思考强化学习为何如此强大的方法是告诉它做什么而不是如何做。关键思想是你不需要告诉算法每个输入的正确输出Y是什么只需指定一个奖励函数告诉它什么时候做的好什么时候做的不好算法 的工作是自动找出如何选择好的动作。7.2火星探测器示例这是强化学习应用的工作方式的形式化7.3强化学习中的回报接下来看看如何指定我们希望强化学习算法做什么如何知道一组特定的奖励是好还是坏强化学习中的回报即将定义回报的概念捕捉到了可以更快获得的奖励可能比需要长时间才获得的奖励更具吸引力。在金融应用中折扣因子也有一个非常自然的解释即利率/货币的时间价值强化学习中的回报是系统获得的奖励总和但这些奖励是按折扣因子加权的其中未来的奖励按折扣因子的更高次方加权但如果存在任何夫奖励那么折扣因子实际上会激励系统尽可能的将负奖励推到未来7.4 强化学习中的决策7.5关键概念回顾7.6状态-动作值函数的定义开始开发一个选择良好动作的算法第一步是定义并最终学会计算状态-动作值函数。这被证明是当我们开发一个学习算法时的一个关键量。关键量强化学习算法试图计算的这就是状态-动作值函数。所以如果能计算每个状态和每个动作的Q(s,a)那么为我们提供了一种计算最优策略Π(s)的好方法。7.7状态-动作值函数的示例为了继续磨练我们对强化学习问题的直觉以及QSA的值7.8贝尔曼方程如果你计算了Q(s,a),那么就提供了一种从每种状态中选择好动作的方法只需选择动作A使得Q(s,a)的值最大如何计算Q(s,a)在强化学习中有一个关键方程叫做贝尔曼方程可帮助我们计算状态动作价值函数