中国首个音频生成类大模型通过备案

凤凰网科技讯 9月20日,近日,上海网信办发布的最新一批上海市生成式大模型备案通过名单中,喜马拉雅音频大模型与米哈游、阅文集团的筑梦岛等文本大模型共同通过了备案,成为全国首个通过网信办生成式人工智能服务的音频生成类大模型。

喜马拉雅音频大模型是全球首个第四代多情感演绎、超自然表达的音频生成大模型。该模型将会引领整个音频行业AIGC从第三代音频生成模型向第四代音频生成大模型的演化发展。

中国首个音频生成类大模型通过备案

喜马拉雅音频模型是珠峰AI团队基于自研文本音频联合建模的LLM框架,在同一空间向量表征下实现音频与文本的联合建模训练。这种联合建模的方法充分赋予了音频生成任务以强大的语义信息,并充分利用它们之间的内在联系和互补信息,大幅度提高模型的性能和泛化能力,这也是第四代音频大模型超越上一代的核心技术突破。

中国首个音频生成类大模型通过备案

在训练过程中,喜马拉雅珠峰AI首先将音频数据和文本数据分别进行预处理,将它们转化为适合模型输入的 token 形式,并将音频 token 和文本 token 映射到同一空间向量表征中,使得模型能够更好地理解和处理音频和文本之间的关系。整体训练流程包括预训练(Pretraining)、有监督微调(SFT)、领域有监督微调(Domain SFT)、说话人有监督微调(Speaker SFT)、强化学习(RL)几个主要流程。通过这几个流程的训练,使模型具备以下特点:(1)15s音色克隆能力和声音转换能力。(2)超拟人、多情感、对齐人类偏好的语音生成。(3)高可控风格和副语言能力。

喜马拉雅珠峰AI研发团队对训练好的模型进行评估,在长音频内容如有声小说的场景下,角色演绎风格的可控性、音素表现的稳定性、语流韵律停顿等的自然度上显著高于国内外第三代音频生成模型。

喜马拉雅音频大模型践行“产模结合”的范式,通过模型结合产业形成业务、数据、算法的正反馈循环。其在AIGC有声书、Chat对话式交互等业务场景上广泛使用,诸如最近爆火的有声书《我的阿勒泰》就是由喜马拉雅音频大模型生成的。喜马拉雅珠峰AI表示,音频大模型能力已经在珠峰AI官网上可以直接体验使用了,用户可以直接创作自己的音频内容。