[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)層權(quán)重的連續(xù)參數(shù)化

在審

• 申請?zhí)枺?/td>: 201980020210.8
• 申請日: 2019-07-23
• 公開（公告）號: CN111868752A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 沙赫拉姆·伊扎迪;塞姆·克斯金
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種由數(shù)據(jù)處理設(shè)備實現(xiàn)的方法，所述方法包括：

使用包括多個神經(jīng)網(wǎng)絡(luò)層的神經(jīng)網(wǎng)絡(luò)來處理網(wǎng)絡(luò)輸入以生成網(wǎng)絡(luò)輸出，其中，每一神經(jīng)網(wǎng)絡(luò)層被配置成根據(jù)多個層權(quán)重的相應(yīng)值來處理相應(yīng)層輸入以生成相應(yīng)層輸出，其中，所述神經(jīng)網(wǎng)絡(luò)層中的一個或多個是條件神經(jīng)網(wǎng)絡(luò)層，并且其中，使用條件神經(jīng)網(wǎng)絡(luò)層來處理層輸入以生成層輸出包括：

獲得所述條件神經(jīng)網(wǎng)絡(luò)層的一個或多個決策參數(shù)的值；

處理(i)所述層輸入、以及(ii)所述條件神經(jīng)網(wǎng)絡(luò)層的所述決策參數(shù)，以從連續(xù)的可能潛在參數(shù)值的集合確定所述條件神經(jīng)網(wǎng)絡(luò)層的一個或多個潛在參數(shù)的值，其中，所述潛在參數(shù)的值指定所述條件層權(quán)重的值；

從所述潛在參數(shù)的值確定所述條件層權(quán)重的值；以及

根據(jù)所述條件層權(quán)重的值來處理所述層輸入以生成所述層輸出。

2.根據(jù)權(quán)利要求1所述的方法，其中，處理(i)所述層輸入、以及(ii)所述條件神經(jīng)網(wǎng)絡(luò)層的所述決策參數(shù)，以從連續(xù)的可能潛在參數(shù)值的集合確定所述條件神經(jīng)網(wǎng)絡(luò)層的所述潛在參數(shù)的值包括應(yīng)用可微映射，所述可微映射是所述層輸入和決策參數(shù)到所述條件神經(jīng)網(wǎng)絡(luò)的所述潛在參數(shù)的值的映射。

3.根據(jù)權(quán)利要求2所述的方法，其中，應(yīng)用所述可微映射包括：

確定所述層輸入和所述條件神經(jīng)網(wǎng)絡(luò)層的所述決策參數(shù)之間的內(nèi)積；以及

通過sigmoid函數(shù)來處理所述內(nèi)積。

4.根據(jù)權(quán)利要求2至3中的任一項所述的方法，進一步包括：

從(i)所述可微映射的輸出、以及(ii)在所述神經(jīng)網(wǎng)絡(luò)的所述神經(jīng)網(wǎng)絡(luò)層的排序中在所述條件神經(jīng)網(wǎng)絡(luò)層之前的所述神經(jīng)網(wǎng)絡(luò)中的前一條件神經(jīng)網(wǎng)絡(luò)層的潛在參數(shù)的值，確定所述條件神經(jīng)網(wǎng)絡(luò)層的所述潛在參數(shù)的值。

5.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，所述連續(xù)的可能潛在參數(shù)值的集合是0和1之間的區(qū)間。

6.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，所述條件神經(jīng)網(wǎng)絡(luò)層的所述潛在參數(shù)將所述條件層權(quán)重參數(shù)化，并且其中，從所述潛在參數(shù)的值確定所述條件層權(quán)重的值包括：

根據(jù)所述潛在參數(shù)對所述條件層權(quán)重的參數(shù)化，從所述潛在參數(shù)的值確定所述條件層權(quán)重的值。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述條件神經(jīng)網(wǎng)絡(luò)層的所述潛在參數(shù)將所述條件層權(quán)重參數(shù)化為B樣條，或者參數(shù)化為被定義為多個B樣條總和的超曲面。

8.根據(jù)權(quán)利要求7所述的方法，其中，每一B樣條由多個節(jié)點定義，并且定義所述B樣條的所述節(jié)點的值是在訓(xùn)練期間確定的。

9.根據(jù)權(quán)利要求1至5中的任一項所述的方法，其中：

所述條件層權(quán)重包括多個卷積濾波器的權(quán)重；

所述條件神經(jīng)網(wǎng)絡(luò)層的所述潛在參數(shù)將所述條件神經(jīng)網(wǎng)絡(luò)層的多個嵌套潛在參數(shù)參數(shù)化；

所述條件神經(jīng)網(wǎng)絡(luò)層的每一嵌套潛在參數(shù)將對應(yīng)卷積濾波器的權(quán)重參數(shù)化；以及

從所述潛在參數(shù)的值確定所述條件層權(quán)重的值包括：

根據(jù)所述潛在參數(shù)對所述嵌套潛在參數(shù)的參數(shù)化，從所述潛在參數(shù)的值確定所述嵌套潛在參數(shù)的值；以及

對于每一卷積濾波器，根據(jù)對應(yīng)嵌套潛在變量對所述卷積濾波器的權(quán)重的參數(shù)化，從與所述卷積濾波器對應(yīng)的所述嵌套潛在變量的值確定所述卷積濾波器的權(quán)重的值。

10.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，所述條件神經(jīng)網(wǎng)絡(luò)層的潛在參數(shù)的數(shù)目小于所述條件層權(quán)重的維度。

11.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，獲得所述條件神經(jīng)網(wǎng)絡(luò)層的所述決策參數(shù)的值包括：

獲得在訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)時確定的所述條件神經(jīng)網(wǎng)絡(luò)層的所述決策參數(shù)的值。