Moonshot AI 发布 Kimi-Audio：开源音频基础模型，赋能音频理解、生成与对话新时代

Moonshot AI 近日正式推出了 Kimi-Audio，这是一款开源的音频基础模型。Kimi-Audio 旨在成为一个通用的音频处理框架，在音频理解、生成和对话等多个领域展现出卓越能力。它的发布被视为推动多模态 AI 发展的重要一步。

核心能力与特性

Kimi-Audio 具备广泛的通用能力，能够处理多种音频任务，包括：

• 音频理解: 支持音频问答 (AQA)、音频字幕 (AAC)、语音情感识别 (SER)、声音事件/场景分类 (SEC/ASC) 等。
• 音频生成: 能够生成高质量的音频波形。
• 语音对话: 支持端到端语音对话。
• 语音识别 (ASR): 提供强大的语音转文本能力。

模型在多项音频基准测试中取得了领先的性能表现。

技术基础

Kimi-Audio 的强大性能得益于其大规模的预训练。模型在超过 1300 万小时的多样化音频数据（包括语音、音乐、声音）以及文本数据上进行了训练。它采用了新颖的架构，结合了混合音频输入和基于大型语言模型（LLM）的核心。

开放资源与评估

为了促进社区研究和开发，Kimi-Audio 以开源形式发布，提供了代码、预训练和指令微调的模型权重。

• 已发布的模型包括 Kimi-Audio-7B 和 Kimi-Audio-7B-Instruct。
• 同时，还发布了 Kimi-Audio-Evalkit，这是一个全面的音频评估工具包，旨在解决音频基础模型评估中缺乏标准化的问题。该工具包支持复现官方结果和基线，并提供统一的平台进行模型比较。
• 此外，还发布了 Kimi-Audio-Generation-Testset 数据集，用于评估音频对话模型的生成能力，特别是风格和相关性。该数据集目前以中文为主。

行业意义

Kimi-Audio 的开源降低了音频 AI 技术的应用门槛，使开发者和研究人员能够更便捷地利用先进的音频处理能力构建创新应用。这有助于加速多模态 AI 技术的普及和发展。

来源：

https://github.com/MoonshotAI/Kimi-Audio

更多内容请查阅 : blog-250504