李宏毅2017机器学习课程 回归

news2025/7/11 9:41:39

李宏毅2017机器学习课程 P3 回归 Regression

  • 下文不区分w和ω(

    文章目录

    • 李宏毅2017机器学习课程 P3 回归 Regression
    • 回归定义
    • 举例:Pokemon精灵攻击力预测(Combat Power of a Pokemon)
      • 模型步骤
        • Step1:模型假设-线性模型
          • 一元线性模型(单个特征)
          • 多元线性模型(多个特征)
        • Step2:模型评估-损失函数
          • 收集和查看训练数据
          • 如何判断众多模型的好坏
        • Step 3:最佳模型 - 梯度下降
          • 解决单个参数
          • 解决两个参数
          • 梯度下降推演最优模型的过程
          • 梯度下降算法在现实世界中面临的挑战
          • w和b偏微分的计算方法
      • 如何验证训练好的模型的好坏
      • 更强大复杂的模型:1元N次线性模型
      • 考虑更复杂的模型,过拟合问题出现
      • 步骤优化
        • Step1优化:2个input的四个线性模型是合并到一个线性模型中
        • Step2优化:如果希望模型更强大表现更好(更多参数,更多input)
        • Step3优化:加入正则化(regularization)
    • 总结

回归定义

  • 找到一个函数function,通过输入特征x,输出一个数值scalar

举例:Pokemon精灵攻击力预测(Combat Power of a Pokemon)

李宏毅老师真是太有趣了哈哈哈哈

在这里插入图片描述

  • 输入:进化前的CP值、物种(Bulbasaur)、血量(HP)、重量(Weight)、高度(Height)

  • 输出:进化后的CP值

模型步骤

  1. 模型假设,选择模型框架(线性模型)
  2. 模型评估,如何判断众多模型的好坏(损失函数)
  3. 模型优化,如何筛选最优的模型(梯度下降)

Step1:模型假设-线性模型

在这里插入图片描述

一元线性模型(单个特征)

  • 以一个特征 x c p x_{cp} xcp为例,线性模型假设 y = b + w ⋅ x c p y = b + w·x_{cp} y=b+wxcp ,所以 ω \omega ω b b b 可以猜测很多模型,比如

    f 1 : y = 10.0 + 9.0 ⋅ x c p f 2 : y = 9.8 + 9.2 ⋅ x c p f 3 : y = − 0.8 − 1.2 ⋅ x c p   ⋅ ⋅ ⋅ f_1: y = 10.0 + 9.0·x_{cp} \\ f_2: y = 9.8 + 9.2·x_{cp} \\ f_3: y = - 0.8 - 1.2·x_{cp} \ ··· f1:y=10.0+9.0xcpf2:y=9.8+9.2xcpf3:y=0.81.2xcp 

  • 虽然可以做出很多假设,但在这个例子中,显然 f 3 : y = − 0.8 − 1.2 ⋅ x c p f_3: y = - 0.8 - 1.2·x_{cp} f3:y=0.81.2xcp 的假设是不合理的,不能进化后CP值是个负值吧~~

多元线性模型(多个特征)

  • 在实际应用中,输入特征肯定不止 x c p x_{cp} xcp 这一个。例如,进化前的CP值、物种(Bulbasaur)、血量(HP)、重量(Weight)、高度(Height)等,特征会有很多

    • 所以我们假设 线性模型 Linear model: y = b + ∑ w i x i y = b + \sum w_ix_i y=b+wixi

    • x i x_i xi:就是各种特征(fetrure) x c p , x h p , x w , x h , ⋅ ⋅ ⋅ x_{cp},x_{hp},x_w,x_h,··· xcp,xhp,xw,xh,

    • ω i \omega_i ωi:各个特征的权重 ω c p , ω h p , ω w , ω h , ⋅ ⋅ ⋅ \omega_{cp},\omega_{hp},\omega_w,\omega_h,··· ωcp,ωhp,ωw,ωh,

    • b b b:偏移量


注意:接下来的内容需要看清楚是【单个特征】还是【多个特征】的示例

Step2:模型评估-损失函数

【单个特征】: $x_{cp} $

收集和查看训练数据

  • 这里定义 x 1 x^1 x1 是进化前的CP值, y ^ 1 \hat{y}^1 y^1 进化后的CP值, ^ \hat{} ^ 所代表的是真实值

    在这里插入图片描述

  • 将10组原始数据在二维图中展示,图中的每一个点 $(x_{cp}n,\hat{y}n) $ 对应着进化前的CP值 和 进化后的CP值

在这里插入图片描述

如何判断众多模型的好坏

  • 有了这些真实的数据,那我们怎么衡量模型的好坏呢?从数学的角度来讲,我们使用距离。求【进化后的CP值】与【模型预测的CP值】差,来判定模型的好坏。也就是使用损失函数(Loss function) 来衡量模型的好坏,统计10组原始数据 $\left ( \hat{y}^n - f(x_{cp}^n) \right )^2 $ 的和,和越小模型越好。如下图所示:

    image-20221126095125750

L ( f ) = ∑ n = 1 10 ( y ^ n − f ( x c p n ) ) 2 , 将 [ f ( x ) = y ] , [ y = b + w ⋅ x c p ] 代 入 = ∑ n = 1 10 ( y ^ n − ( b + w ⋅ x c p ) ) 2 \begin{aligned} L(f)&=\sum\limits_{n=1}^{10} (\hat{y}^n-f(x_{cp}^n))^2,将[f(x)=y],[y=b+w·x_{cp}]代入 \\&=\sum\limits_{n=1}^{10}(\hat{y}^n-(b+w·x_{cp}))^2\end{aligned} L(f)=n=110(y^nf(xcpn))2,[f(x)=y],[y=b+wxcp]=n=110(y^n(b+wxcp))2

  • 最终定义 损失函数 Loss function:

    在这里插入图片描述

    L ( w , b ) = ∑ n = 1 10 ( y ^ n − ( b + w ⋅ x c p ) ) 2 L(w,b)= \sum_{n=1}^{10}\left ( \hat{y}^n - (b + w·x_{cp}) \right )^2 L(w,b)=n=110(y^n(b+wxcp))2

在这里插入图片描述

  • 图中每一个点代表着一个模型对应的 w w w b b b

Step 3:最佳模型 - 梯度下降

  • 目标:筛选最优模型(参数 ω , b \omega,b ωb

在这里插入图片描述

  • 对上图的解释:

    已知损失函数是
    L ( w , b ) = ∑ n = 1 10 ( y ^ n − ( b + w ⋅ x c p ) ) 2 L(w,b) = \sum_{n=1}^{10}\left ( \hat{y}^n - (b + w·x_{cp}) \right )^2 L(w,b)=n=110(y^n(b+wxcp))2
    需要找到一个令结果 L ( f ) L(f) L(f)最小的 f f f,记作 f ∗ f^* f,或者说使得结果最小的 w w w b b b,记作 w ∗ , b ∗ w^*,b^* w,b

解决单个参数

  • 如何筛选:梯度下降
    在这里插入图片描述

  • 学习率 :移动的步长,如图中 η \eta η

  1. 先随机选取一个初始点 ω 0 {\omega}^0 ω0

  2. 计算 d L d w ∣ w = w 0 \dfrac{dL}{dw}|_{w=w^0} dwdLw=w0

    更新 ω \omega ω,前面是要乘以一个- η η η

    • 当前斜率大于0,减少w的值
    • 斜率小于0,增加w的值
  3. 根据学习率移动

  4. 重复2和3
    在这里插入图片描述

    步骤1中,我们随机选取一个 w 0 w^0 w0,如上图所示,我们有可能会找到当前的最小值(局部最优),并不是全局的最小值,这里我们保留这个疑问,后面解决。

在这里插入图片描述

loss function L is convex(凸函数)

解决两个参数

  • 解释完单个模型参数 ω \omega ω,引入2个模型参数 ω \omega ω b b b , 其实过程是类似的,需要做的是偏微分,过程如下图

在这里插入图片描述

  • 引入算子
    在这里插入图片描述

梯度下降推演最优模型的过程

在这里插入图片描述

  • 每一条线围成的圈就是等高线,代表损失函数的值,颜色约深的区域代表的损失函数越小

    想到了高中电场学的等势线,电场线方向是电势降低最快的方向, 电场强度是电势的负梯度

    把上面那个轨迹看成电荷挺好玩的,它在寻求低势

  • 红色的箭头代表等高线的法线方向

梯度下降算法在现实世界中面临的挑战

  • 我们通过梯度下降gradient descent不断更新损失函数的结果,这个结果会越来越小,那这种方法找到的结果是否都是正确的呢?前面提到的当前最优问题外,还有没有其他存在的问题呢?

    在这里插入图片描述

    其实还会有其他的问题:

    • 问题1:当前最优(Stuck at local minima

    • 问题2:等于0(Stuck at saddle point)

    • 问题3:趋近于0(Very slow at the plateau)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TKEOmi3n-1669429689091)(https://cdn.jsdelivr.net/gh/xin007-kong/picture_new/img/20221126101632.png)]

注意:其实在线性模型里面都是一个碗的形状(山谷形状),梯度下降基本上都能找到最优点(不会stuck at local minima),但是再其他更复杂的模型里面,就会遇到 问题2 和 问题3 了

w和b偏微分的计算方法

在这里插入图片描述

如何验证训练好的模型的好坏

  • 使用训练集和测试集的平均误差来验证模型的好坏 我们使用将10组原始数据,训练集求得平均误差为31.9,如图所示:

在这里插入图片描述

  • 然后再使用10组Pokemons测试模型,测试集求得平均误差为35.0 如图所示:

在这里插入图片描述

  • 此时,模型还需要优化,需要一个更复杂的model

更强大复杂的模型:1元N次线性模型

  • 在模型上,我们还可以进一步优化,选择更复杂的模型,使用1元2次方程举例,还是根据training data,利用gradient descent,求出best function

  • 求出best function之后,来验证模型的好坏,发现训练集求得平均误差为15.4,测试集的平均误差为18.4

在这里插入图片描述

  • leeml notes👇

在这里插入图片描述

考虑更复杂的模型,过拟合问题出现

在模型上,我们再可以进一部优化,使用更高次方的模型,如图所示

  • 训练集平均误差【15.4】【15.3】【14.9】【12.8】

  • 测试集平均误差【18.4】【18.1】【28.8】【232.1】

在这里插入图片描述

在训练集上面表现更为优秀的模型,为什么在测试集上效果反而变差了?这就是模型在训练集上过拟合的问题

  • 如图所示,每一个模型结果都是一个集合,5次模型 ⊇ \supseteq 4次模型 ⊇ \supseteq 3次模型

    image-20221126102239645
    • 将错误率结果图形化展示,发现3次方以上的模型,已经出现了过拟合的现象:

在这里插入图片描述

- 选择3次的目前较为合理

步骤优化

  • 输入更多Pokemons数据,相同的起始CP值,但进化后的CP差距竟然是2倍。如图,其实将Pokemons种类通过颜色区分,就会发现Pokemons种类是隐藏得比较深的特征,不同Pokemons种类影响了进化后的CP值的结果

在这里插入图片描述

Step1优化:2个input的四个线性模型是合并到一个线性模型中

  • 通过对 Pokemons种类判断,将 4个线性模型合并到一个线性模型中

在这里插入图片描述

  • 不同种类的宝可梦,参数不一样,按这个思路来考虑

    error如下 训练数据3.8 测试数据14.3

    image-20221126102514415

Step2优化:如果希望模型更强大表现更好(更多参数,更多input)

  • 在最开始我们有很多特征,图形化分析特征,将血量(HP)、重量(Weight)、高度(Height)也加入到模型中

    在这里插入图片描述

  • 弄一个function

在这里插入图片描述

更多特征,更多input,数据量没有明显增加,仍旧导致overfitting

Step3优化:加入正则化(regularization)

  • 更多特征,但是权重 w w w可能会使某些特征权值过高,仍旧导致overfitting,所以加入正则化

在这里插入图片描述

  • w 越小,表示 function 较平滑的, function输出值与输入值相差不大

  • 在很多应用场景中,并不是 w 越小模型越平滑越好,但是经验值告诉我们 w越小大部分情况下都是好的。

  • b的值接近于0 ,对曲线平滑是没有影响

总结

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/36747.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

搭建lnmp+nfs+调度器

→→→大虾好吃吗←←← 目录 搭建lnmp平台 nginx配置 mysql配置 php配置 验证 nfs调度器 安装服务 nfs配置 调度器配置 验证 →→→大虾好吃吗←←← 实验目标:搭建lnmp平台,安装wordpress论坛搭建nfs,客户端通过调度器访问nfs论坛。 实验拓…

pandas数据分析:十分钟快速入门重点函数速查

文章目录前言一、生成Series对象和DataFrame对象二、查看数据三、获取数据3.1 获取单列数据3.2 按照标签选择数据:loc函数3.2 按照位置选择数据:iloc函数3.3 布尔索引3.4 赋值四、缺失值五、运算六、merge:合并DataFrame6.1 concat函数6.2 me…

体系结构31_机群计算机

目前流行的高性能并行计算机系统结构通常可以分成五类:并行向量处理机(PVP)、对称多处理机(SMP)、大规模并行处理机(MPP)、分布共享存储(DSM)多处理机和机群(…

现代密码学导论-13-归约证明

目录 3.3.2 Proofs by Reduction 最后来理一遍: 3.3.2 Proofs by Reduction 如果我们希望证明一个给定的构造(例如,加密方案)在计算上是安全的,那么——除非该方案在信息理论上是安全的——我们必须依赖于未经证明的…

影像匹配基本算法(摄影测量)

影像匹配实质上是在两幅(或多幅)影像之间识别同名点,它是计算机视觉及数字摄影测量的核心问题。由于早期的研究一般使用相关技术解决影像匹配问题,所以影像匹配常常被称为影像相关。 根据影像匹配过程中匹配基元选择的不同,影像匹配方法可分…

iptables应用大全

iptables四表五链: 1、“四表”是指 iptables 的功能 ——filter 表(过滤规则表):控制数据包是否允许进出及转发 ——nat 表(地址转换规则表):控制数据包中地址转换 ——mangle(修改…

【C++笔试强训】第三十天

🎇C笔试强训 博客主页:一起去看日落吗分享博主的C刷题日常,大家一起学习博主的能力有限,出现错误希望大家不吝赐教分享给大家一句我很喜欢的话:夜色难免微凉,前方必有曙光 🌞。 💦&a…

计算机网络——应用层重点协议【HTTP协议】

目录 1、HTTP是什么 抓包工具Fidder的下载及使用 2、HTTP协议工作过程 3、HTTP协议格式 HTTP请求: HTTP响应: 协议格式总结: 4、HTTP请求 4.1、URL / URI 4.1.1、URL(I)基本格式 4.1.2、URL encode 4.2、认识“方法” 4.2.1、GET…

五、ROS2接口及其使用

接口,即interface,其实是一种规范。 举个例子,不同厂家生产出不同类型的激光雷达,每种雷达的驱动方式,扫描速率都不相同。 当机器人进行导航时,需要激光雷达的扫描数据,假如没有统一接口&#x…

Nginx (6):nginx防盗链配置

先说一下含义,就是想让nginx里的静态资源只供它反向代理连接的内部服务器去访问,其他人想访问,就不给。比如01虚拟机充当nginx服务器,它里面存了很多静态资源,04虚拟机proxy_pass到01虚拟机,想访问它的页面…

Linux--信号量共享内存

1.基础知识: (1)共享内存是最快的IPC形式。一旦这样的内存映射到共享它的进程的地址空间,这些进程间的数据传递不再涉及内核,即进程不再通过执行进入内核的系统调用来传递彼此的数据。 (2)共享…

MySQL浅析之架构概览

MySQL主要分为Server层,跟存储引擎层。 Server层负责“逻辑处理”,包括连接器、分析器、优化器、执行器以及所有内置函数。所有跨存储引擎的功能都在这一层实现,比如存储过程、触发器、视图等。 存储引擎层跟文件系统交互,负责数…

bug探索之路:List<Map>get取出元素却是String?

一、bug初现峥嵘 有一说一我定义的List<Map>对吧&#xff0c;我get(0)取出的元素也应该是Map类型没问题吧。不行&#xff0c;编译器告诉我&#xff0c;java.lang.String cannot be cast to java.util.Map。 这个意思就是说&#xff0c;你这个就是String类型&#xff0c;…

Spring Cloud Gateway夺命连环10问?

这篇文章介绍下微服务中的一个重要角色&#xff1a;网关&#xff0c;对于网关如何选择&#xff0c;由于阿里系暂时未出网关&#xff0c;当然是选择了Spring cloud Gateway&#xff0c;毕竟是亲儿子。 文章目录如下&#xff1a; ​ 编辑切换为居中 添加图片注释&#xff0c;不…

[附源码]java毕业设计智能超市导购系统

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybatis Maven Vue 等等组成&#xff0c;B/S模式 M…

【科学文献计量】RC.networkBibCoupling()中的参数解释

RC.networkBibCoupling中的参数解释 1 数据2 RC.networkBibCoupling()中的参数解释2.1 测试weighted参数2.2 测试fullInfo参数2.3 测试addCR参数1 数据 使用web of science中的数据,借助metaknowledge库读入到python中,然后截取2020-2021年的数据构建网络 2 RC.networkBib…

CrystalNet ADO.Net VCL for Delphi

CrystalNet ADO.Net VCL for Delphi ADO。用于Delphi的Net DAC被描述为数据库的最快和最可靠的连接&#xff0c;以及使用ADO技术的虚拟和数据库的替代方案。NET在Delphi。它能够为用户和开发人员提供对信息源的数据访问&#xff0c;这些信息源不喜欢SQL Server、Oracle、Vista…

Flutter高仿微信-第42篇-创建群

Flutter高仿微信系列共59篇&#xff0c;从Flutter客户端、Kotlin客户端、Web服务器、数据库表结构、Xmpp即时通讯服务器、视频通话服务器、腾讯云服务器全面讲解。 详情请查看 效果图&#xff1a; 实现代码&#xff1a; /*** Author : wangning* Email : maoning20080809163.c…

ARM S5PV210的启动过程

一、内存 SRAM 静态内存 特点就是容量小、价格高&#xff0c;优点是不需要软件初始化直接上电就能用。DRAM 动态内存 特点就是容量大、价格低&#xff0c;缺点就是上电后不能直接使用&#xff0c;需要软件初始化后才可以使用。 单片机中&#xff1a;内存需求量小&#xff0c;而…

秉持技术普惠的华为,致力于无处不在的联接

编辑 | 阿冒 设计 | 沐由经济学家托马斯弗里德曼在《世界是平的》一书中曾经指出&#xff1a;“科技和通信领域如闪电般迅速的进步&#xff0c;使全世界的人们可以空前地彼此接近。”然而&#xff0c;在世界各国和地区的政府工作报告中&#xff0c;“数字鸿沟”一词出现的频…