[發明專利]使用神經網絡生成音頻

在審

• 申請號: 202011082855.5
• 申請日: 2017-09-06
• 公開（公告）號: CN112289342A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: A.G.A.范登奧德;S.E.L.迪爾曼;N.E.卡爾赫布倫納;K.西蒙延;O.文雅爾斯
• 申請（專利權）人: 淵慧科技有限公司
• 主分類號: G10L25/30
• 分類號: G10L25/30;G10L13/06;G06N3/04
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

方法、系統和裝置，包括編碼在計算機存儲介質上的計算機程序，用于生成包括多個時間步中的每一個處的相應音頻樣本的音頻數據的輸出序列。方法之一包括，對于時間步中的每一個：提供音頻數據的當前序列作為卷積子網絡的輸入，其中當前序列包括輸出序列中該時間步之前的每個時間步處的相應音頻樣本，并且其中卷積子網絡被配置為處理音頻數據的當前序列以生成時間步的替代表示；以及提供時間步的替代表示作為輸出層的輸入，其中輸出層被配置為：處理替代表示以生成定義時間步的多個可能的音頻樣本上的分數分布的輸出。

本申請是申請日為2017年09月06日、申請號為201780065523.6、發明名稱為“使用神經網絡生成音頻”的PCT發明專利申請的分案申請。

技術領域

本發明通常涉及提供一種神經網絡，并且更具體地涉及使用神經網絡處理和生成音頻。

背景技術

本說明書涉及使用神經網絡處理和生成音頻。

神經網絡是機器學習模型，它采用一層或多層非線性單元來對于接收的輸入預測輸出。一些神經網絡除了輸出層之外還包括一個或多個隱藏層。在網絡中，每個隱藏層的輸出被用作下一層(即，下一隱藏層或輸出層)的輸入。網絡的每一層根據相應參數集的當前值從接收的輸入生成輸出。

發明內容

本說明書描述了在一個或多個位置的一個或多個計算機上實施為計算機程序的系統可以如何生成包括多個時間步中的每一個處的相應音頻樣本的音頻數據序列。例如，音頻數據序列可以用特定的自然語言或一段音樂來表示語音。

在一個創新方面，由一個或多個計算機實施的神經網絡系統被配置為生成包括多個時間步中的每一個處的相應音頻樣本的音頻數據的輸出序列。神經網絡系統可以包括卷積子網絡，該卷積子網絡包括一個或多個音頻處理卷積神經網絡層；和輸出層。卷積子網絡可以被配置為，對于多個時間步中的每一個：接收包括輸出序列中該(當前)時間步之前的每個時間步處的相應音頻樣本的音頻數據的當前序列。卷積子網絡還可以被配置為處理音頻數據的當前序列，以生成時間(當前)步的替代表示。替代表示因此可以包括數字表示，即數字值的有序集合，其中音頻數據的當前序列已經由卷積子網絡編碼，例如編碼當前序列的特征。輸出層可以被配置為對于多個時間步中的每一個：接收該時間步的替代表示，并且處理該時間步的替代表示以生成定義該時間步的多個可能的音頻樣本上的分數分布的輸出。

這種系統的許多優點中的一些將在后面描述。系統可以通過從分布中采樣來使用分數分布選擇當前時間步的樣本。輸出可以但不是必須對每個可能的音頻樣本值包括一個分數，例如256個可能值的256個分數。因此，壓縮(compress)或縮擴(compand)音頻樣本值(可以是幅度值)，以減少模型輸出的數量是有用的。

在一些實施方式中，卷積神經網絡層是因果卷積神經網絡層，如后面更詳細描述的。具體地，音頻處理卷積神經網絡層可以包括一個或多個擴張因果卷積神經網絡層。再次如后面更詳細描述的，擴張卷積神經網絡層將卷積應用于序列(即，如由來自前一層的輸出定義的)中的非相鄰值。這可以按數量級增加卷積子網絡的接受域(receptive field)，同時保持輸入(時間)分辨率并維持計算效率。

在一些實施方式中，卷積神經網絡層包括多個堆疊的擴張卷積神經網絡層的塊。每個塊可以包括具有增加的擴張因子(dilation)的多個擴張卷積神經網絡層。例如，對于每個連續層，擴張因子可以增加因子n，直到每個塊內的極限。這可以進一步增加接受域的大小。