[發明專利]前饋生成式神經網絡

在審

• 申請號: 201880027095.2
• 申請日: 2018-05-22
• 公開（公告）號: CN110546656A
• 公開（公告）日: 2019-12-06
• 發明（設計）人: A.G.A.范登奧德;K.西蒙揚;O.文雅爾斯
• 申請（專利權）人: 淵慧科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G10L13/08;G10L13/027
• 代理公司: 11105 北京市柳沈律師事務所
• 代理人: 金玉潔<國際申請>=PCT/EP2018

1.一種訓練前饋生成式神經網絡的方法，所述前饋生成式神經網絡具有多個前饋參數，并且被配置為生成以第二類型的上下文輸入為條件的第一類型的輸出示例，

其中，每個輸出示例包括在多個生成時間步驟中的每一個生成時間步驟處的相應的輸出樣本，

其中，所述前饋生成式神經網絡被配置為接收包括上下文輸入的前饋輸入，并被配置為處理所述前饋輸入以生成前饋輸出，對于所述生成時間步驟中的每一個生成時間步驟，所述前饋輸出定義在所述生成時間步驟處的輸出樣本的可能值的相應的似然性分布。

其中，所述訓練包括：

獲得訓練上下文輸入；

根據所述前饋參數的當前值，使用所述前饋生成式神經網絡處理包括所述訓練上下文輸入的訓練的前饋輸入，以生成訓練的前饋輸出。

使用經訓練的自回歸生成式神經網絡處理所述訓練的上下文輸入，

其中，對于所述多個生成時間步驟中的每一個生成時間步驟，所述經訓練的自回歸生成式神經網絡已被訓練為自回歸地生成自回歸輸出，所述自回歸輸出定義在所述生成時間步驟處的以前一生成時間步驟處的輸出樣本為條件的輸出樣本的可能值的似然性分布；

確定相對于所述前饋參數的第一梯度以使散度損耗最小化，對于所述生成時間步驟中的每一個生成時間步驟，所述散度損耗取決于來自由所述自回歸輸出定義的、所述生成時間步驟的似然性分布和由所述訓練的前饋輸出定義的、所述生成時間步驟的似然性分布的第一散度；以及

至少部分地基于所述第一梯度確定對所述前饋參數的當前值的更新。

2.根據權利要求1所述的方法，其中，所述前饋輸入還包括在所述生成時間步驟中的每一個生成時間步驟處的相應的噪聲輸入。

3.根據權利要求1或2中任一項所述的方法，其中，所述訓練還包括：

獲得所述訓練的上下文輸入的真值輸出示例；以及

通過從所述概率分布采樣來根據所述訓練的前饋輸出生成預測的輸出示例。

4.根據權利要求3所述的方法，其中，所述真值輸出示例和所述預測的輸出示例是語音波形，其中，所述訓練還包括：

生成所述真值輸出示例的第一幅度譜；

生成所述預測的輸出示例的第二幅度譜；

確定相對于所述前饋參數的第二梯度，以使取決于所述第一幅度譜和所述第二幅度譜之間的差異的幅度損耗最小化，并且其中，確定對所述前饋參數的當前值的更新包括至少部分地基于所述第二梯度確定更新。

5.根據權利要求3至4中任一項所述的方法，其中，所述訓練還包括：

使用經訓練的特征生成神經網絡處理所述真值輸出示例，以獲得所述真值輸出示例的特征，其中，所述經訓練的特征生成神經網絡是以波形為輸入的經預先訓練的神經網絡；

使用所述經訓練的特征生成神經網絡處理所述預測的輸出示例，以獲得所述預測的輸出示例的特征，

確定相對于所述前饋參數的第三梯度，以使取決于所述真值輸出示例的特征和所述預測的輸出示例的特征之間的差異的度量的感知損耗最小化，并且其中，確定對所述前饋參數的當前值的更新包括至少部分地基于所述第三梯度確定更新。

6.根據權利要求5所述的方法，其中，所述特征生成神經網絡是語音識別神經網絡。

7.根據權利要求5或6中任一項所述的方法，其中，所述特征是所述特征生成網絡中的中間層的輸出。

8.根據權利要求5至7中任一項所述的方法，其中，所述特征生成神經網絡是經訓練的自回歸生成式神經網絡。