“Alexa播放《蓝色狂想曲》。”“正在播放《蓝色狂想曲》。”客户常将这种与Alexa的互动描述为神奇的体验而在不到十年前这听起来还像是天方夜谭。Alexa背后的科学组成部分之一是自动语音识别——Alexa从语音信号中解读语义信息所利用的过程。而当客户的请求比播放歌曲更复杂时科学家们比如博士生、三度在亚马逊担任应用科学实习生的Michael Saxon就会遇到有趣的挑战。Saxon是今年夏天亚马逊在线上接待的一万多名实习生之一。其中超过10%的实习岗位是遍布公司各团队的应用科学和数据科学角色。大多数科学相关实习持续12到16周。对NLP日益增长的兴趣Saxon在亚利桑那州立大学完成了电气工程的本科学位并获得了计算机工程硕士学位。他目前正在加州大学圣塔芭芭拉分校完成计算机科学博士学位核心研究聚焦于自然语言处理。他对语音和自然语言处理的兴趣始于本科最后一年一位教授招募他参与一个项目。Saxon当时使用自动语音识别模型来检测和跟踪构音障碍语音中的鼻音过高现象以此研究神经系统疾病的进展。后来Saxon在人工智能促进协会会议上遇到了一些正在寻找应用科学实习生的招聘人员。“基于我在语音和自然语言处理方面的兴趣他们邀请我加入位于匹兹堡的Alexa混合科学团队”Saxon说“而我在自动语音识别模型方面的经验是一个加分项。”解决端到端口语理解问题Alexa混合科学团队的一个核心研究方向是开发神经端到端口语理解模型。在2019年的实习项目中Saxon接到了一个最初看似相对简单的任务开发一个端到端的意图口语理解系统该系统能够在听到尽可能少的单词后做出判断。然而他发现这个项目实则出乎意料地困难。使用训练数据Saxon和团队无法复现先前口语理解研究文献中的高性能结果。在2019年夏季实习临近结束时团队找出了原因。训练数据与现有文献中公开数据集的语义复杂度水平存在不匹配。语义复杂度指的是一个语言数据集所包含的可能表达方式及其各种含义的数量。数据集的语义复杂度越高程序从中解读单个话语的方式就越多。由于其语义复杂度相对较低公开可用的数据集需要的训练数据较少并且最终限制了研究系统只能从一个固定的、预定义的确切命令排列列表中进行选择。Saxon的团队将现有文献中的模型架构应用于亚马逊的训练数据该数据的语义复杂度要高得多。“我们发现对于相似大小的数据集和相似的架构我们无法复现之前研究中的这些强劲结果我们怀疑这是由于这种语义复杂度的不匹配”Saxon说。“这些模型从根本上是为语义复杂度较低的领域设计的。”然而第一次实习项目中的这次挫折为下一个项目指明了方向。取得成果当Saxon在2020年1月第二次回到Alexa混合科学团队实习时团队迅速投入工作。当他在亚利桑那州立大学完成硕士课程时团队开始了研究工作旨在展示可用的语义复杂度度量方法以促进对口语理解任务进行客观比较。为了产生有用的度量标准团队需要比较口语理解任务的复杂度度量与将模型应用于不同数据集每个数据集的语义复杂度依次降低所能达到的精度之间的关系。团队通过反复移除稀有词批次人为生成了不同语义复杂度水平的数据集。这产生了一系列虚拟的口语理解问题从大型人工数据集中的Alexa级别任务到有效地从短列表中识别关键词。“在这些语义复杂度度量与我们能够在几种不同模型上获得的最大精度之间存在一个强大的、近乎线性的关系”Saxon说。“这表明给定模型的性能上限与其所解决问题的语义复杂度之间存在一种基本关系。”Saxon和团队在《端到端口语理解中的语义复杂度》论文中发表了他们的发现阐述了将结果情境化以展示口语理解系统适用范围的重要性并在Interspeech 2020会议上进行了展示。考虑到语义复杂度的挑战团队随后着手开发一个用于通用口语理解的端到端模型该模型可以使像Alexa这样的语音助手能够以优于其他模型的精度处理任何话语。其成果是第二篇论文《面向通用语音助手的端到端口语理解》。团队构建了一个端到端口语理解系统该系统既可以在语音上进行预训练也允许插入大型语言模型。这使得团队能够分别调整系统的转录和解释能力。因此该系统能够处理更多意图和参数解释的组合。值得注意的是该口语理解系统的语音到语义解析精度比类似能力的端到端基线系统提高了43%。利用网络回答任何问题今年夏天Saxon正在完成他在亚马逊的第三次应用科学实习为加州曼哈顿海滩的Alexa人工智能团队远程工作。该团队的工作重点是让Alexa能够为客户的问题提供高度准确的回答。“我一直在这个旅程中从语音方面开始逐渐深入到技术栈的更底层到达现在所处的网络信息领域而这里仍然有先前工作的回声”Saxon解释道。这次的挑战涉及一个语义复杂度更高的用例Alexa人工智能团队需要训练基于网络信息的模型使其能够正确回答任何可能的问题——甚至是最令人困惑的那些——以便Alexa能为客户的问题提供有用的回答。通常自动语音识别系统需要正确转录的疑问句中最关键的词语是非常罕见的。这些词增加了句子的语义复杂度也是系统最难转录的词。如果未能正确识别出这些词中的一个系统将无法回答问题。Saxon当前的工作正是将他之前在端到端口语理解方面的经验应用到这项任务中。“Michael的实习帮助我们建立了深厚的专业知识并使我们在端到端口语理解领域达到了如今的成熟度”他之前的经理Athanasios Mouchtaris说。“我们从Michael实习期间的工作中学到的一切对我们的成功至关重要。”展望未来Saxon才完成博士学业的第一年目前仍处于寻找研究方向探索阶段。他还有四年博士学业要完成并打算再做几次实习——他表示可以看到自己再次回到亚马逊。“我非常认同这里的领导力原则和文化。我尤其喜欢这里强调的主人翁精神和‘不同意但承诺’的理念这些在我的研究项目中对我很有帮助”他说。“毕业后我肯定会考虑回来全职工作。”对亚马逊实习机会感兴趣吗亚马逊今年夏天在线接待了超过一万名实习生。如果您是对亚马逊实习感兴趣的学生您可以通过亚马逊学生项目了解更多实习机会。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享