[發明專利]前饋生成式神經網絡

在審

• 申請號: 201880027095.2
• 申請日: 2018-05-22
• 公開（公告）號: CN110546656A
• 公開（公告）日: 2019-12-06
• 發明（設計）人: A.G.A.范登奧德;K.西蒙揚;O.文雅爾斯
• 申請（專利權）人: 淵慧科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G10L13/08;G10L13/027
• 代理公司: 11105 北京市柳沈律師事務所
• 代理人: 金玉潔<國際申請>=PCT/EP2018

公開了一種前饋生成式神經網絡，該前饋生成式神經網絡生成在單個神經網絡推理中包括特殊類型的多個輸出示例的輸出示例。可選地，生成可以以上下文輸入為條件。例如，前饋生成式神經網絡可以生成語音波形，語音波形是以文本片段的語言特征為條件的輸入文本片段的語言化。

背景技術

本說明書涉及生成式神經網絡。

神經網絡是采用一層或多層非線性單元來預測所接收的輸入的輸出的機器學習模型。一些神經網絡除了輸出層之外還包括一個或多個隱藏層。每個隱藏層的輸出被用作網絡中的下一層(即下一個隱藏層或輸出層)的輸入。網絡的每一層根據相應的一組參數的當前值從所接收的輸入中生成輸出。

發明內容

總的來說，本說明書描述了前饋生成式神經網絡。前饋生成式神經網絡是在單個神經網絡推理中生成包括多個特殊類型的輸出樣本的輸出示例的神經網絡?？蛇x地，生成可以以上下文輸入為條件。例如，前饋生成式神經網絡可以生成語音波形，語音波形是以文本片段的語言特征為條件的輸入文本片段的語言化。

因此，在一個實施方案中，本說明書描述了一種訓練前饋生成式神經網絡的方法，該前饋生成式神經網絡具有多個前饋參數，并且被配置為生成以第二類型的上下文輸入為條件的第一類型的輸出示例。每個輸出示例包括在多個生成時間步驟的每一個處的相應的輸出樣本。前饋生成式神經網絡被配置為接收包括上下文輸入的前饋輸入，并被配置為處理前饋輸入以生成前饋輸出，對于生成時間步驟中的每一個，該前饋輸出定義在該生成時間步驟處的輸出樣本的可能值的相應的似然性分布。該訓練包括獲得訓練上下文輸入；根據前饋參數的當前值，使用前饋生成式神經網絡處理包括該訓練上下文輸入的訓練前饋輸入，以生成訓練前饋輸出；以及使用經訓練的自回歸生成式神經網絡處理訓練上下文輸入。對于多個生成時間步驟中的每一個，經訓練的自回歸生成式神經網絡已被訓練為自回歸地生成自回歸輸出，該自回歸輸出定義了在該生成時間步驟處的以前一生成時間步驟處的輸出樣本為條件的輸出樣本的可能值的似然性分布。該方法還包括確定相對于前饋參數的第一梯度，以使散度損耗最小化。對于生成時間步驟中的每一個，散度損耗取決于來自由自回歸輸出定義的、該生成時間步驟的似然性分布和由訓練的前饋輸出定義的、該生成時間步驟的似然性分布(由自回歸輸出定義的、該生成時間步驟的似然性分布和由訓練的前饋輸出定義的、該生成時間步驟的似然性分布之間)的第一散度。該方法還包括至少部分基于第一梯度確定對前饋參數的當前值的更新。

此類方法的優點將稍后描述。通常，但并不一定，前饋輸入還包括在生成時間步驟中的每一個處的相應的噪聲輸入。在一些實施方案中，這便于以并行方式生成一組樣本的輸出分布，因此這比自回歸方法快得多。

例如，第一散度可以是KL散度或Jensen-Shannon散度。散度損耗可以至少部分地取決于在時間步驟中的每一個處的第一散度的總和。

該訓練可以還包括獲得訓練上下文輸入的真值輸出示例，并且通過從概率分布采樣來根據訓練的前饋輸出生成預測的輸出示例。預測的輸出示例可以用于確定訓練的另一梯度。

因此，真值輸出示例和預測的輸出示例可以定義諸如語音波形的波形。然后，訓練可以還包括生成真值輸出示例的第一幅度譜；生成預測的輸出示例的第二幅度譜；以及確定相對于前饋參數的第二梯度，以使取決于第一與第二幅度譜之間的差異的幅度損耗最小化。確定對前饋參數的當前值的更新可以包括至少部分地基于第二梯度來確定更新。幅度譜可以包括例如定義波形的振幅、能量或類似幅度譜(例如，表示不同頻帶中的功率)的數據。

附加地或可替換地，訓練可以包括使用經訓練的特征生成神經網絡處理真值輸出示例，以獲得真值輸出示例的特征。經訓練的特征生成神經網絡可以是以波形為輸入的經預先訓練的神經網絡。該訓練可以還包括使用經訓練的特征生成神經網絡處理預測的輸出示例，以獲得預測的輸出示例的特征。然后，該方法可以包括確定相對于前饋參數的第三梯度，以使感知損耗最小化。感知損耗可以被定義為取決于真值輸出示例的特征與預測的輸出示例的特征之間的差異的量度的損耗。確定對前饋參數的當前值的更新可以包括至少部分地基于第三梯度來確定更新。