Lyra音频编解码器以3kbps的比特率实现高质量的语音通话

我们经常写关于新的视频编解码器，比如亚博体育官下载AV1或H.266最近，我们报道了AVIF图片格式与WebP和JPEG相比，它提供了更好的质量/压缩比，但在音频编解码器方面也做了一些工作。

值得注意的是,我们注意到1.2作品在2017年发布时，Opus 1.3提供了良好的语音质量，比特率低至12kbps, 2019年发布的Opus 1.3进一步改进了编解码器，高质量的语音可能仅为9kbps。但谷歌的人工智能最近公布了莱拉用于语音压缩的非常低比特率编解码器，在比特率低至3kbps的情况下实现高语音质量。

在我们讨论Lyra编解码器的细节之前，谷歌比较了一个参考音频文件，其中Lyra以3kbps编码，Opus以6kbps编码(Opus的最小比特率)，Speex以3kbps编码，用户报告说Lyra的声音最好，接近原始。你可以自己试试。

Speex 3kbps听起来对所有的样本都很糟糕。我觉得Opus 6kbps和Lyra 3kbps在清晰的语音样本中听起来差不多亚博体育官下载，但Lyra在嘈杂的环境中复制背景音乐更好。

那么莱拉是如何工作的呢?谷歌AI解释了Lyra编解码器的基本架构依赖于以下特性(日志梅尔·色)，或不同的语音属性，表示不同频带的语音能量，每40ms提取一次语音，然后压缩传输。在接收端，生成模型使用这些特征来重建语音信号。

莱拉的工作原理与混合激励线性预测(MELP)美国国防部(US DoD)为军事应用和卫星通信、保密语音和保密无线电设备开发的语音编码标准。

Lyra还利用听起来很自然的生成模型来维持低比特率，同时实现高质量，类似于高比特率编解码器所实现的。

以这些模型为基础，我们开发了一种新模型，能够用最少的数据重建语音。Lyra利用这些新的听起来很自然的生成模型的力量来维持低比特率的参数编解码器，同时实现高质量，与当今大多数流媒体和通信平台使用的最先进的波形编解码器相当。波形编解码器的缺点是，它们通过压缩和逐样本发送信号来实现高质量，这需要更高的比特率，在大多数情况下，并不是实现自然语音的必要条件。

生成模型的一个问题是它们的计算复杂性。Lyra通过使用一种更便宜的循环生成模型来避免这个问题WaveRNN变异，它以较低的频率工作，但在不同的频率范围内并行产生多个信号，然后以所需的采样率合并成单个输出信号。这个技巧使Lyra不仅能在云服务器上运行，还能实时地在中档手机上运行(处理延迟为90ms，与其他传统语音编解码器一致)。然后，生成模型在数千小时的语音数据上进行训练，并像WaveNet一样进行优化，以准确地再现输入音频。

即使在信号质量差、带宽低和/或网络连接拥塞的情况下，Lyra也能实现清晰、高质量的语音通话。它不仅适用于英语，谷歌还使用开源音频库，用超过70种语言的扬声器训练了数千小时的音频，然后与专家和众包听众验证音频质量。

该公司还预计，由于AV1视频编解码器和Lyra音频编解码器的结合，视频通话在56kbps拨号调制解调器连接上成为可能。第一个使用Lyra音频编解码器的应用程序之一将是谷歌两视频电话应用程序，它将用于非常低的带宽连接。该公司还计划利用gpu和人工智能加速器进行加速，并已开始研究是否可以利用Lyra使用的技术，为音乐和非语音音频创建通用音频编解码器。更多细节可在谷歌AI博客帖子．

vip亚博

Jean-Luc于2010年开始兼www.yabo188.vip职创办CNX软件，2011年辞去软件工程经理的工作，开始全职撰写每日新闻和评论。