[發明專利]白化神經網絡層

有效

• 申請號: 201680032855.X
• 申請日: 2016-06-03
• 公開（公告）號: CN107690663B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 紀堯姆·德雅爾丹;凱倫·西蒙尼揚;科拉伊·卡武克曲奧盧;拉茲萬·帕什卡努
• 申請（專利權）人: 淵慧科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

用于使用包括白化神經網絡層的神經網絡系統來處理輸入的方法、系統和設備，包括在計算機存儲介質上編碼的計算機程序。所述方法中的一種包括：接收由所述序列中的所述白化神經網絡層之前的層所生成的輸入激活；根據白化參數集來處理所接收到的激活以生成白化激活；根據層參數集來處理所述白化激活以生成輸出激活；以及將所述輸出激活作為輸入提供給所述序列中的所述白化神經網絡層之后的神經網絡層。

技術領域

本說明書涉及通過神經網絡的層來處理輸入以生成輸出。

背景技術

神經網絡是采用非線性單元的一個或多個層來針對接收到的輸入預測輸出的機器學習模型。一些神經網絡除了包括輸出層之外還包括一個或多個隱藏層。每個隱藏層的輸出被用作網絡中的下一層即下一個隱藏層或輸出層的輸入。網絡的每個層根據相應的參數集的當前值從接收到的輸入生成輸出。

發明內容

一般而言，本說明書中所描述的主題的一個創新方面可用由一個或多個計算機實現的神經網絡系統加以具體實現，所述神經網絡系統包括白化神經網絡層，所述白化神經網絡層被配置成：接收由所述白化神經網絡層之前的層生成的輸入激活，根據白化參數集來處理所接收到的激活以生成白化激活，根據層參數集來處理所述白化激活以生成輸出激活，并且將所述輸出激活作為輸入提供給所述白化神經網絡層之后的神經網絡層。

神經網絡系統被配置成接收網絡輸入并且通過神經網絡層的序列中的每一個來處理所述網絡輸入以從所述網絡輸入生成網絡輸出，所述神經網絡層的序列包括：白化神經網絡層，其中所述神經網絡層被配置成執行操作，所述操作包括：接收由所述序列中的所述白化神經網絡層之前的層生成的輸入激活；根據白化參數集來處理所接收到的激活以生成白化激活；根據層參數集來處理所述白化激活以生成輸出激活；以及將所述輸出激活作為輸入提供給所述序列中的所述白化神經網絡層之后的神經網絡層。

所述白化參數可以包括協方差參數集和均值參數集。所述均值參數集可以包括均值參數向量并且所述協方差參數集可以包括協方差權重矩陣。根據所述白化參數集來處理所接收到的激活以生成所述白化激活可以包括：從所述輸入激活減去所述均值參數向量以生成中間白化激活；以及將所述協方差權重矩陣應用于所述中間白化激活以生成所述白化激活。所述協方差權重矩陣可以是具有元素的矩陣，所述元素是從在所述神經網絡層的訓練期間由所述序列中的所述白化神經網絡層之前的所述層生成的輸入激活的協方差的矩陣的特征值得到的。可以從在所述神經網絡層的訓練期間由所述序列中的所述白化神經網絡層之前的所述層生成的輸入激活的均值得到所述均值參數向量。所述層參數可以包括偏置向量d和層權重矩陣V并且所述輸出激活h滿足：h＝f(Vh^w+d),其中f是逐元素非線性激活函數并且h^w是所述白化激活。

本主題的另一創新方面可用在訓練數據上對所述神經網絡層進行訓練以調整所述序列中的所述神經網絡層的所述參數的值的方法加以具體實現。對所述神經網絡層進行訓練可以包括，在所述訓練期間：使用梯度下降技術來調整所述白化神經網絡層的所述層參數集的值；以及使用由所述序列中的所述白化神經網絡層之前的所述層生成的輸入激活的統計來調整所述白化參數的值。調整所述白化參數的值可以包括，在所述訓練期間：基于由所述白化神經網絡層之前的所述層生成的輸入激活的估計協方差來調整所述協方差參數的值；以及基于由所述白化神經網絡層之前的所述層生成的輸入激活的估計均值來調整所述均值參數的值。基于所述估計協方差來調整所述協方差參數的值可以包括基于由所述白化神經網絡層之前的所述層生成的輸入激活的所述估計協方差的矩陣的特征值來調整所述協方差參數的值。使用所述梯度下降技術來調整所述白化神經網絡層的所述層參數集的值可以包括在使用所述梯度下降技術來更新所述層參數集的值時將所述白化參數的值視為常數。