Talk | 微软亚洲研究院宋恺涛南大余博涛:面向文本/音乐序列任务的Transformer注意力机制设计

news2025/7/11 9:55:18

本期为TechBeat人工智能社区456线上Talk!

北京时间11月22(周二)20:00微软亚洲研究院研究员——宋恺涛南京大学硕士研究生——余博涛的Talk将准时在TechBeat人工智能社区开播!

他们与大家分享的主题是: “面向文本/音乐序列任务的Transformer注意力机制设计”,届时将分别讲解在文本和音乐序列任务中的Transformer注意力机制设计,包括1)Transcormer,通过设计三流注意力机制(Triple-stream Self-attention)和滑动语言模型(Sliding Language Models)来实现高效的语言打分;2)Museformer,通过设计细粒度-粗粒度(Fine- and Coarse-Grained)结合的注意力机制以实现高效的音乐生成。

Talk·信息

主题:面向文本/音乐序列任务的Transformer注意力机制设计

嘉宾:微软亚洲研究院研究员 宋恺涛

南京大学硕士研究生 余博涛

时间:北京时间 11月22日 (周二) 20:00

地点:TechBeat人工智能社区

http://www.techbeat.net/

 点击下方链接,即可观看视频

TechBeatTechBeat是荟聚全球华人AI精英的成长社区,每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。https://www.techbeat.net/talk-info?id=732

Talk·介绍

Transformer凭借其强大的注意力机制,逐渐成为文本、语音、音乐、图像等任务的通用模型结构。然而,在典型的序列任务中,Transformer的注意力机制还有比较大的提升空间,以实现高效的序列建模。在本次talk中,我们将介绍在文本和音乐序列任务中的Transformer注意力机制设计,包括1)Transcormer,通过设计三流注意力机制(Triple-stream Self-attention)和滑动语言模型(Sliding Language Models)来实现高效的语言打分;2)Museformer,通过设计细粒度-粗粒度(Fine- and Coarse-Grained)结合的注意力机制以实现高效的音乐生成。

 分享一 

当下基于Transformer的语言模型是否已经能够满足自然语言处理中的所有任务?如何针对不同的任务来设计更加有效的语言模型呢?我们在NeurIPS 2022上针对语言评分这一任务特性,设计了一个全新的Transformer模型——Transcormer。该模型提出了一个全新的滑动语言模型,并设计了一种三流自注意力机制 。基于这样的设计,Transcormer模型能够在利用双向信息的同时,只需要计算一次便可以得到每个单词的概率分布。该方法在解决语言评估的任务上,具有更好的性能和更高的效率。 

Talk提纲如下:

  • 语言评分的任务定义

  • 过去预训练模型的优缺点

  • 滑动语言模型的设计

  • 实验结果

  • 工作总结

 分享二 

随着深度学习的快速发展,自动音乐创作成为新兴研究方向。Transformer模型被应用于音乐生成任务中并取得良好效果,但长序列建模(如何高效建模通常长度超过10000的音乐序列)和音乐结构建模(如何使生成的音乐具有更好的音乐重复结构)仍然是该领域的重大挑战。因此,在NeurIPS 2022上,我们提出Museformer,它使用一种细粒度和粗粒度相结合的注意力机制来解决这些挑战。

Talk提纲如下:

  • AI+艺术

  • 背景介绍:symbolic music,音乐生成中的挑战

  • Museformer模型和细-粗注意力机制的核心思想和具体设计

  • 实验和结果分析

  • 总结

Talk·预习资料

[1] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 

[2] Improving Language Understanding by Generative Pre-Training 

[3] XLNet: Generalized Autoregressive Pretraining for Language Understanding

[4] arXiv: https://arxiv.org/abs/2210.10349 

[5] Demo: https://ai-muzic.github.io/museformer 

[6] Code: https://github.com/microsoft/muzic

Talk·提问交流

在Talk界面下的【交流区】参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!

Talk·嘉宾介绍

宋恺涛

微软亚洲研究院研究员

宋恺涛,微软亚洲研究院。博士毕业于南京理工大学计算机科学与应用专业。研究方向为自然语言处理,包括机器翻译,预训练模型,语言生成等领域。在ICML、NeurIPS、KDD、ACL、IJCAI、ICCV、TIP、COLING、ICASSP、InterSpeech等顶级会议及期刊发表了多篇论文,其谷歌学术被引2200+余次。他的多项研究成果应用在微软的产品中。

个人主页:

https://scholar.google.com/citations?user=LLk9dR8AAAAJ&hl=en

余博涛

南京大学硕士研究生

余博涛,南京大学硕士研究生,导师为胡伟副教授,正在寻求海外读博机会。主要研究方向包含自然语言处理、AI音乐和深度学习。

个人主页:

https://btyu.github.io/

 -The End-

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>TechBeat,一个荟聚全球华人AI精英的学习成长社区

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/28879.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

String类_Java(一)

作者:爱塔居的博客_CSDN博客-JavaSE领域博主 专栏:JavaSE 🌼作者简介:大三学生,希望跟大家一起进步! 文章目录 目录 文章目录 前言 一、构造字符串 二、Sring对象的比较 2.1 比较是否引用同一对象 2.2 比较…

跨平台编译工具--CMake上手教程

文章目录一、引入二、基本关键字1.PROJECT2.SET3.MESSAGE4.ADD_EXECUTABLE5.ADD_SUBDIRECTORY(1)使用(2)CMakeLists执行顺序(3)输出文件的位置6.INSTALL(1)安装文件(2)安装非目标文件可执行文件(3)安装目录(4)安装指令7.ADD_LIBRARY8.SET_TARGET_PROPERTIES三、语法的基本规则四…

知识引擎藏经阁天花板——高性能Java架构核心原理手册

开场 本书是按照程序设计与架构的顺序编写的,共13章。 第1章介绍学习高性能Java应了解的核心知识,为前置内容。 第2章和第3章讲解在编写代码之前,如何高效地为My SQL填充亿级数据,并对My SQL进行基准测试,以便在之后…

Linux-awk和printf

printf printf ‘输出类型输出格式’ 输内容 输出类型: %ns 输出字符串,n是数字指代输出几个字符 %ni 输出整数,n是数字,指代输出几个数字 %m.nf 输出浮点数,m和n是数字,指代输出总位数和小数位数&#xf…

YOLO V1学习总结

图片大小:448 * 448 —> 7 * 7 *(5 * B C) 5:每个框的x,y,w,h,confidence; B2:在7*7的feature上,每个cell会生成2个预测框; C:类别数。 损失函数 坐标中心误差和位置宽高的误差…

卷积神经网络基本概念

卷积神经网络基本概念1. 感受野2. 卷积核3. 特征图【feature map】4. 通道【channel】5. 填充【padding】6. 步长【stride】7. 池化【pooling】8. dropout数字1处:一个圈表示一个神经元数字2处:一个圈表示一个神经元,圈的大小表示感受野的大小…

基于matlab的最小支配集CDS仿真

目录 1.算法描述 2.仿真效果预览 3.MATLAB部分代码预览 4.完整MATLAB程序 1.算法描述 支配集的定义如下:给定无向图G (V , E),其中V是点集, E是边集, 称V的一个子集S称为支配集当且仅当对于V-S中任何一个点v, 都有…

一、FFmpeg 的初尝试《FFmpeg 音视频开发基础入门到实战》

学习目标 了解 FFmpeg学习 FFmpeg 工具的下载及环境配置了解 FFmpeg 工具的使用方式了解 FFmpeg play 的使用方法了解 FFmpeg paly 的音量设置、窗口设置、音量设置等设置方法 一、了解 FFmpeg FFmpeg 是一个音视频处理的工具,通过 FFmpeg 可以对视频进行旋转、缩…

新零售SaaS架构:多租户系统架构设计

什么是多租户? 多租户是SaaS领域的特有产物,在SaaS服务中,租户是指使用SaaS系统的客户,租户不同于用户,例如,B端SaaS产品,用户可能是某个组织下的员工,但整个企业组织是SaaS系统的租…

得数据者得天下!作为后端开发必备技能之一的MySQL,这份十多年经验总结的应用实战与性能调优我想你肯定是需要的!

MySQL对于很多Linux从业者而言,是一个非常棘手的问题,多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程,很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预…

跑步戴什么耳机比较好、精挑五款最佳跑步耳机推荐

运动蓝牙耳机近几年受到市场的欢迎,种类越来越多,各类功能也日益五花八门,消费者很难准确的进行分辨,一不小心可能买到华而不实的产品。现在了解一下值得入手的运动蓝牙耳机,从多个角度对蓝牙耳机进行评估后&#xff0…

大数据项目之电商数仓、实时数仓同步数据、离线数仓同步数据、用户行为数据同步、日志消费Flume配置实操、日志消费Flume测试、日志消费Flume启停脚本

文章目录8. 实时数仓同步数据9. 离线数仓同步数据9.1 用户行为数据同步9.1.1 数据通道9.1.1.1 用户行为数据通道9.1.2 日志消费Flume配置概述9.1.2.1 日志消费Flume关键配置9.1.3 日志消费Flume配置实操9.1.3.1 创建Flume配置文件9.1.3.2 配置文件内容如下9.1.3.2.1 配置优化9.…

Arcpy新增随机高程点、空间插值及批量制图

(1)在“地质调查点基础数据表.xls”中图幅范围内增加200个随机位置的高程点。构建一个shape文件,采用自定义工具的模式,参数有两个:一个是让用户选择excel文件,一个让用户指定新生成的文件名。 &#xff08…

五子棋小游戏——Java

文章目录一、内容简介:二、基本流程三、具体步骤1.菜单栏2.创建棋盘并初始化为空格(1)定义行数、列数为常量(2)定义棋盘(3)给棋盘添加坐标并初始化棋盘为空格3.打印棋盘4.玩家落子5.判断输赢四、代码实现五、效果展示一、内容简介: 五子棋小游戏是我们日…

网络工程SSM毕设项目 计算机毕业设计【源码+论文】

文章目录前言 题目1 : 基于SSM的游戏攻略资讯补丁售卖商城 <br /> 题目2 : 基于SSM的疫情期间医院门诊网站 <br /> 题目3 : 基于SSM的在线课堂学习设计与实现<br /> 题目4 : 基于SSM的大学生兼职信息系统 <br /> 题目5 : 基于SSM的大学生社团管理系统 …

2022 云原生编程挑战赛圆满收官,见证冠军战队的诞生

11 月 3 日&#xff0c;天池大赛第三届云原生编程挑战赛在杭州云栖大会圆满收官。三大赛道18大战队手历经 3 个月激烈的角逐&#xff0c;终于交上了满意的答卷&#xff0c;同时也捧回了属于他们的荣耀奖杯。 云原生编程挑战赛发起人王荣刚在开场分享中提到&#xff0c;“在阿里…

【无标题】后来,我认为王阳明比尼采,叔本华都高明

悲欣交集 ——灵遁者 虽然我是个写作者&#xff0c;但我还是希望无苦难可以诉说。可事与愿违&#xff0c;我的笔下总有忧伤&#xff0c;也许我天生忧郁。 我觉得现在比以往任何时候&#xff0c;都更能体验和接触苦难。打开新闻&#xff0c;打开抖音&#xff0c;苦难就扑面而…

SpringBoot 整合 Shiro 权限框架

目录Shiro概述Shiro介绍基本功能Shiro架构SpringBoot整合Shiro环境搭建登录、授权、角色认证实现自定义实现 RealmShiro配置类controller代码权限异常处理多个 realm 的认证策略设置会话管理获得session方式Shiro概述 Shiro介绍 Apache Shiro 是一个功能强大且易于使用的 Jav…

力扣(LeetCode)42. 接雨水(C++)

栈 明确目标——计算接雨水的总量。 可以想到一层一层的接雨水。和算法结合&#xff0c;介绍思想 &#xff1a; 遍历柱子&#xff0c;栈 stkstkstk 维护降序高度的柱子&#xff0c;如果出现升序&#xff0c;说明形成凹槽&#xff0c;计算凹槽能接的雨水&#xff0c;加入答案。…

Java强软弱虚引用和ThreadLocal工作原理(一)

一、概述 本篇文章先引入java的四种引用在android开发中的使用&#xff0c;然后结合弱引用来理解ThreadLocal的工作原理。 二、JVM名词介绍 在提出四种引用之前&#xff0c;我们先提前说一下 Java运行时数据区域 虚拟机栈 堆 垃圾回收机制 这四个概念。 2.1 java运行时数据…