【nlp】2.8 注意力机制拓展

news2025/11/7 7:39:46

注意力机制拓展

  • 1 注意力机制原理
    • 1.1 注意力机制示意图
    • 1.2 Attention计算过程
    • 1.3 Attention计算逻辑
    • 1.4 有无attention模型对比
      • 1.4.1 无attention机制的模型
      • 1.4.2 有attention机制的模型

1 注意力机制原理

1.1 注意力机制示意图

Attention机制的工作原理并不复杂，我们可以用下面这张图做一个总结

在这里插入图片描述

1.2 Attention计算过程

  • 阶段一: query 和 key 进行相似度计算，得到一个query 和 key 相关性的分值
  • 阶段二: 将这个分值进行归一化(softmax)，得到一个注意力的分布
  • 阶段三: 使用注意力分布和 value 进行计算，得到一个融合注意力的更好的 value 值

为了更好的说明上面的情况, 我们通过注意力来做一个机器

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1240651.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

模拟量采集----测量输入的电流

模拟量采集----测量输入的电流

生活中的模拟量有很多 大多都为电压信号和电流信号 今天讲如何测量输入的电流信号 通过欧姆定律可知 电流测量的测量：是将电流加载在固定阻值的电阻上，来测量这个电阻二端的电压 最后反算出电流的大小 所用的公式是IU/R 我们使用仿真软件来看测量…
阅读更多...
④【Set】Redis常用数据类型： Set [使用手册]

④【Set】Redis常用数据类型： Set [使用手册]

个人简介：Java领域新星创作者；阿里云技术博主、星级博主、专家博主；正在Java学习的路上摸爬滚打，记录学习的过程~ 个人主页：.29.的博客 学习社区：进去逛一逛~ Redis Set ④Redis Set 操作命令汇总1. sadd …
阅读更多...
【开源】基于Vue.js的康复中心管理系统

【开源】基于Vue.js的康复中心管理系统

项目编号： S 056 ，文末获取源码。 \color{red}{项目编号：S056，文末获取源码。} 项目编号：S056，文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 普通用户模块2.2 护工模块2.3 管理员…
阅读更多...
【网络奇缘】- 计算机网络|性能指标|体系结构

【网络奇缘】- 计算机网络|性能指标|体系结构

🌈个人主页: Aileen_0v0🔥系列专栏: 一见倾心,再见倾城 --- 计算机网络~💫个人格言:"没有罗马,那就自己创造罗马~" 目录 温故而知新 计算机网络性能指标 时延 时延带宽积 往返时延RTT 访问百度​编辑 访问b站 访问谷歌 …
阅读更多...
DRF-项目-（1）：构建纯净版的drf项目，不再使用django的后台管理，django的认证，django的session等功能，作为一个纯接口项目

DRF-项目-（1）：构建纯净版的drf项目，不再使用django的后台管理，django的认证，django的session等功能，作为一个纯接口项目

项目的目录结构： -HeartFailure |-- apps |--user |--HeartFailure |-- static |--manage.py 一、django项目相关的 1、命令行中创建django项目 #1、切换到指定的虚拟环境中 workon my_drf#2、该虚拟环境已经安装好django和rest_framework了 django-admin startp…
阅读更多...
基于VM虚拟机下Ubuntu18.04系统，Hadoop的安装与详细配置

基于VM虚拟机下Ubuntu18.04系统，Hadoop的安装与详细配置

参考博客： https://blog.csdn.net/duchenlong/article/details/114597944 与上面这个博客几乎差不多，就是java环境配置以及后面的hadoop的hdfs-site.xml文件有一些不同的地方。 准备工作 1.更新 # 更新 sudo apt update sudo apt upgrade2.关闭防火…
阅读更多...
git stash 用法总结

git stash 用法总结

目录 1，介绍场景1：场景2： 2，常用命令2.1，基础2.2，进阶1，存储时指定备注2，通过索引来操作指定的存储3，修改存储规则 2.3，查看 stash 修改的具体内容 1&#xf…
阅读更多...
Ubuntu20安装ssh服务

Ubuntu20安装ssh服务

Ubuntu20上执行如下命令查看是否存在ssh服务 #ps -e | grep ssh 只有ssh-agent，没有sshd; 因此要安装openssh-server. 搜索openssh-server,得到下载链接： openssh-server 复制这个Binary Package链接即可下载，然后使用如下命令安装 sudo…
阅读更多...
04-React脚手架 集成Axios

04-React脚手架 集成Axios

初始化React脚手架 前期准备 1.脚手架: 用来帮助程序员快速创建一个基于xxx库的模板项目 1.包含了所有需要的配置（语法检查、jsx编译、devServer…）2.下载好了所有相关的依赖3.可以直接运行一个简单效果 2.react提供了一个用于创建react项目的脚手架库…
阅读更多...
洛谷 P4552 [Poetize6] IncDec Sequence

洛谷 P4552 [Poetize6] IncDec Sequence

挺好的一道思维题。 分析 因为是对区间修改，多次修改肯定会超时，很容易想到差分。 那么原题的对区间修改就可以转换为下面三个操作（均在差分数组中）： 1. 任选一个数1 2. 任选一个数-1 3. 任选两个数1和-1 进一步考…
阅读更多...
MongoDB——索引（单索引，复合索引，索引创建、使用）

MongoDB——索引（单索引，复合索引，索引创建、使用）

MongoDB索引 官方文档 https://docs.mongodb.com/manual/indexes/#create-an-index 默认索引 _id index Mongodb 在 collection 创建时会默认建立一个基于_id 的唯一性索引作为 document 的 primarykey，这个 index 无法被删除 单个字段索引 单字段索引是 Mongo…
阅读更多...
网络渗透测试（wireshark 抓取QQ图片）

网络渗透测试（wireshark 抓取QQ图片）

1.打开wireshark 这里我用的wifi连接 所以点开wifi就好 打开wifi之后就开始在本机上进行抓包了 我们先给我们的QQ发送一张图片，用自己的手机发送给电脑 然后点击左上角的正方形，停止捕获抓包 QQ的关键词是oicq，所以我们直接找 打开oicq …
阅读更多...
【libGDX】使用Mesh绘制矩形

【libGDX】使用Mesh绘制矩形

1 前言 使用Mesh绘制三角形 中介绍了绘制三角形的方法，本文将介绍绘制正方形的方法。 libGDX 以点、线段、三角形为图元，没有提供绘制矩形内部的接口。要绘制矩形内部，必须通过三角形拼接而成，如下图，是通过GL_TRIANGL…
阅读更多...
分享一篇很就以前的文档-VMware Vsphere菜鸟篇

分享一篇很就以前的文档-VMware Vsphere菜鸟篇

PS：由于内容是很久以前做的记录，在整理过程中发现了一些问题，简单修改后分享给大家。首先ESXI节点和win7均运行在VMware Workstation上面，属于是最底层，而新创建的CentOS则是嵌套后创建的操作系统，这点希望…
阅读更多...
git命令 cherry-pick

git命令 cherry-pick

参考：https://blog.csdn.net/weixin_42585386/article/details/128256149 https://blog.csdn.net/weixin_44799217/article/details/128279250 merge和cherry-pick的区别： merge：是把某一个代码分支完全合并到当前的代码分支。完全合并的意…
阅读更多...
汇编-PROC定义子过程(函数)

汇编-PROC定义子过程(函数)

过程定义 过程用PROC和ENDP伪指令来声明， 并且必须为其分配一个名字(有效的标识符) 。目前为止， 我们所有编写的程序都包含了一个main过程， 例如： 当要创建的过程不是程序的启动过程时， 就用RET指令来结束它。RET强制…
阅读更多...
srs的webrtc信令分析

srs的webrtc信令分析

关于webrtc的流信令只有四个 /rtc/v1/publish/，这是推流接口，是推流客户端跟SRS交换SDP的接口 /rtc/v1/play/，这是拉流接口，是拉流客户端跟SRS交换SDP的接口 /rtc/v1/whip/，这也是推流接口，作用是也是交换…
阅读更多...
NFC：应用场景广泛的短距离通信技术

NFC：应用场景广泛的短距离通信技术

NFC：应用场景广泛的短距离通信技术 一、NFC 技术介绍1.1 NFC 技术应用场景1.2 NFC 技术优点1.3 NFC 工作原理 二、NFC 开发2.1 NFC 应用开发流程2.2 NFC 读取和写入2.3 NFC 读写功能示例 三、总结 一、NFC 技术介绍 NFC （Near-field communication&…
阅读更多...
【开源】基于Vue.js的天然气工程业务管理系统的设计和实现

【开源】基于Vue.js的天然气工程业务管理系统的设计和实现

项目编号： S 021 ，文末获取源码。 \color{red}{项目编号：S021，文末获取源码。} 项目编号：S021，文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块三、使用角色3.1 施工人员3.2 管理员 四…
阅读更多...
vector的简单模拟实现_C++

vector的简单模拟实现_C++

目录 一、vector的数据结构 二、vector的构造 三、vector的增删查改及空间管理 四、全部代码 一、vector的数据结构 vector以线性连续空间为基础来定义数据结构以及扩展功能。vector的两个迭代器，分别是start和finish，分别指向配置得来的已被使用的空…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023