机器学习和深度学习-- 李宏毅（笔记与个人理解）Day22

news2025/10/27 16:46:08

Day 22 Transformer

seqence to seqence

有什么用呢？

image-20240419195409787

image-20240419200600208

image-20240419200618184

image-20240419200655869

image-20240419200714492

Encoder

image-20240419200811528

image-20240419200929890

image-20240419201816447

image-20240419201856942
how Block workimage-20240419202000619

仔细讲讲Residual 的过程？

重构

image-20240419202016784

image-20240419202055831

Decoder - AutoRegressive

image-20240419202814089

image-20240419203026310

image-20240419203044694

image-20240419203125676

Mask

image-20240419203147941

image-20240419203210758

image-20240419203323124

由于是文字接龙，所以无法考虑右边的 info

image-20240419203435098

image-20240419203445328

image-20240419203517384

image-20240419203607549

image-20240419203641245
另一种decoder

image-20240419204034186

Encoder to Decoder – Cross Attend

image-20240419204156788

image-20240419204337308

image-20240419204606629

怀疑begin那里没有做 Norm是bug

image-20240419204911428

image-20240419205003779

Training

image-20240419205022013

image-20240419205132661

很像分类的问题

image-20240419205223059

image-20240419205257761

Teacher Forcing ： using the ground truth as input

Tips

image-20240419205454295

image-20240419205509670

image-20240419205543623

image-20240419205805744

how to resolve that?

image-20240419213753968
image-20240419214526024

image-20240419214840792

image-20240419215040489

image-20240419215130167

image-20240419215205131

image-20240419215259187

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1622283.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【算法】五子连线

【算法】五子连线

题目描述 五子棋是世界智力运动会竞技项目之一，是一种两人对弈的纯策略型棋类游戏，通常双方分别使用黑白两色的棋子，下在棋盘直线与横线的交叉点上，先形成连续的五子连线（横、竖、斜）者获胜。 棋盘一般为…
阅读更多...
电脑回收站的东西还原后会在哪里？一文给你答案！

电脑回收站的东西还原后会在哪里？一文给你答案！

“很奇怪，想问问大家，我电脑回收站里还原的文件会被保存在哪里呀？刚刚恢复文件的时候本来想直接将它拖出，却发现文件不见了，这种情况应该怎么解决呢？” 电脑回收站是一个特殊的文件夹，用于临时存…
阅读更多...
解决IDEA中Tomcat控制台乱码问题（包括sout输出乱码）

解决IDEA中Tomcat控制台乱码问题（包括sout输出乱码）

文章目录 前言一、控制台直接输出乱码二、sout输出内容在控制台显示乱码 前言 今天在使用Tomcat的时候发现控制台输入出现了乱码问题，其实之前就出现过一次，解决了，但是新创建一个项目后又会出现sout的内容在控制台输出的乱码问题&#xff0…
阅读更多...
【漏洞复现】云时空社会化商业ERP系统LoginName SQL注入漏洞

【漏洞复现】云时空社会化商业ERP系统LoginName SQL注入漏洞

漏洞描述： 云时空社会化商业ERP系统loginName存在SQL注入漏洞，攻击者可以通过此漏洞获取数据库敏感信息。 搜索语法: Fofa-Query: app"云时空社会化商业ERP系统" 漏洞详情： 1.云时空社会化商业ERP系统。 2.漏洞POC&#xff1a…
阅读更多...
redis中的双写一致性问题

redis中的双写一致性问题

双写一致性问题 1.先删除缓存或者先修改数据库都可能出现脏数据。 2.删除两次缓存，可以在一定程度上降低脏数据的出现。 3.延时是因为数据库一般采用主从分离，读写分离。延迟一会是让主节点把数据同步到从节点。 1.读写锁保证数据的强一致性 因为一般放…
阅读更多...
svg图标填充渐变色及CSS鼠标悬停纯色渐变色转换

svg图标填充渐变色及CSS鼠标悬停纯色渐变色转换

svg图标填充渐变色及CSS鼠标悬停纯色渐变色转换&#xff1a; HTML&#xff1a; <!--底部导航--> <ul class"milliaNav"> <li class"active"><a href"#"> <svg class"icon" viewBox"0 0 1024 1024&qu…
阅读更多...
06.JAVAEE之线程4

06.JAVAEE之线程4

1.定时器 1.1 定时器是什么 定时器也是软件开发中的一个重要组件. 类似于一个 " 闹钟 ". 达到一个设定的时间之后 , 就执行某个指定好的代码. 约定一个时间,时间到达之后,执行某个代码逻辑, 定时器非常常见,尤其是在进行网络通信的时候, 需要有等待的最大时间&…
阅读更多...
xilinx Mailbox 中的ipi message地址计算方式

xilinx Mailbox 中的ipi message地址计算方式

适用于openAmp mailbox ipi id对应的ipi message地址计算方式 官方openamp硬件配置解析 OpenAMP Base Hardware Configurations - Xilinx Wiki - Confluence openamp官方设备树 meta-openamp/meta-xilinx-tools/recipes-bsp/device-tree/files/zynqmp-openamp.dtsi at rel-v2…
阅读更多...
政安晨：【Keras机器学习示例演绎】（十四）—— 用于弱光图像增强的零 DCE

政安晨：【Keras机器学习示例演绎】（十四）—— 用于弱光图像增强的零 DCE

目录 简介 下载 LOL 数据集 创建 TensorFlow 数据集 零 DCE 框架 了解光线增强曲线 DCE-Net 损失函数 色彩恒定损失 曝光损失 光照平滑度损失 空间一致性损失 深度曲线估计模型 训练 推论 测试图像推理 政安晨的个人主页&#xff1a;政安晨 欢迎 &#x1f44d;点…
阅读更多...
遥感卫星影像地表温度反演

遥感卫星影像地表温度反演

近年来&#xff0c;随着遥感技术的不断发展和卫星遥感数据的广泛应用&#xff0c;遥感卫星地表温度反演成为了地球科学和环境监测领域的重要研究内容。地表温度反演是指利用遥感卫星数据推算地表温度的过程&#xff0c;其原理基于地物表面的辐射特征与温度之间的关系。本文将介…
阅读更多...
Github2024-04-25 开源项目日报Top10

Github2024-04-25 开源项目日报Top10

根据Github Trendings的统计，今日(2024-04-25统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下： 开发语言项目数量Python项目4非开发语言项目2TypeScript项目2PowerShell项目1C++项目1Dart项目1JavaScript项目1GPT4All: 在边缘运行开源大型语言模型 创建周期：…
阅读更多...
C++:拷贝构造函数的初始化列表

C++:拷贝构造函数的初始化列表

拷贝构造函数的初始化列表是在拷贝构造函数的定义中出现的一组初始值&#xff0c;用于初始化新创建的对象的成员变量。它的语法是在构造函数的声明后面使用冒号&#xff08;:&#xff09;来开头&#xff0c;然后列出要初始化的成员变量和它们的初始值。初始化列表的优点在于它允…
阅读更多...
从国内盲盒小程序看国外市场的发展机遇与挑战

从国内盲盒小程序看国外市场的发展机遇与挑战

近年来&#xff0c;盲盒小程序在国内市场迅速崛起&#xff0c;凭借其独特的营销模式和消费者体验&#xff0c;赢得了大量年轻消费者的喜爱。从国内盲盒小程序的发展中&#xff0c;我们可以窥见国外市场的一些发展机遇与挑战&#xff0c;为进军国际市场提供有益的参考。 首先&a…
阅读更多...
[Swift]单元测试

[Swift]单元测试

编写单元测试是确保你的代码质量和功能正确性的重要步骤 一、编写单元测试的详细流程 1. 创建一个新的Xcode项目 如果你尚未创建一个项目&#xff0c;首先你需要在Xcode中创建一个新的iOS项目&#xff1a; 打开Xcode&#xff0c;选择“File” > “New” > “Project”…
阅读更多...
ARM DMIPS算力说明

ARM DMIPS算力说明

ARM DMIPS算力说明 ARM算力参考官网地址 https://en.wikipedia.org/wiki/List_of_ARM_processors Product familyARM architectureProcessorFeatureCache (I / D), MMUTypical MIPS MHzReferenceARM1ARMv1ARM1First implementationNoneARM2ARMv2ARM2ARMv2 added the MUL (mu…
阅读更多...
一文带你了解MySQL的DCL语句

一文带你了解MySQL的DCL语句

文章目录 ☃️DCL☃️管理用户☃️权限控制☃️DCL的重要性 欢迎来到 请回答1024 的博客 &#x1f34e;&#x1f34e;&#x1f34e;欢迎来到 请回答1024的博客 关于博主&#xff1a; 我是 请回答1024&#xff0c;一个追求数学与计算的边界、时间与空间的平衡&#xff0c;0与1的…
阅读更多...
【MySQL】A01、性能优化-结构设计与配置

【MySQL】A01、性能优化-结构设计与配置

1、数据库设计原则 1.1、核心原则 不在数据库做运算; cpu计算务必移至业务层; 控制列数量(字段少而精,字段数建议在20以内); 平衡范式与冗余(效率优先&#xff1b;往往牺牲范式) 拒绝3B(拒绝大sql语句&#xff1a;big sql、拒绝大事务&#xff1a;big transaction、拒绝大…
阅读更多...
【漏洞复现】Palo Alto Networks PAN-OS GlobalProtect 命令注入漏洞 CVE-2024-3400

【漏洞复现】Palo Alto Networks PAN-OS GlobalProtect 命令注入漏洞 CVE-2024-3400

漏洞描述 Palo Alto Networks PAN-OS GlobalProtect 命令 Palo Alto Networks PAN-OS GlobalProtect 是Palo Alto Networks 的一款防火墙产品。2024年4月12日，官方披露CVE-2024-3400 Palo Alto Networks GlobalProtect 命令注入漏洞。在特定PAN-OS版本和不同功能配置下，未经…
阅读更多...
618哪些好物值得入手？收下这份必买清单！

618哪些好物值得入手？收下这份必买清单！

很快618就要来啦&#xff0c;在这之前一定要好好做攻略。在这个特别的时刻&#xff0c;我们不仅有机会淘到心仪已久的商品&#xff0c;还能享受到超值的折扣和优惠。为了让大家的购物体验更加愉快&#xff0c;我特意整理了一份618必买清单&#xff0c;里面汇聚了各类热门好物&a…
阅读更多...
【算法入门-Python】02_递归

【算法入门-Python】02_递归

一、递归 递归的两个特点&#xff1a;调用自身&#xff1b;结束条件。 def func1(x):print(x)func1(x-1)没有结束条件&#xff0c;si递归。不是递归。 def func2(x)&#xff1a;if x > 0:print(x)func2(x1)递归调用的x1&#xff0c;没有结束条件。不是递归 def func3(x)…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023