[發明專利]神經網絡層權重的連續參數化

在審

• 申請號: 201980020210.8
• 申請日: 2019-07-23
• 公開（公告）號: CN111868752A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 沙赫拉姆·伊扎迪;塞姆·克斯金
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

用于更有效且準確地生成神經網絡輸出的方法、系統和設備，例如，用于對圖像或音頻數據進行分類。在一個方面，一種方法包括使用包括多個神經網絡層的神經網絡來處理網絡輸入以生成網絡輸出。所述神經網絡層中的一個或多個是條件神經網絡層。使用條件神經網絡層來處理層輸入以生成層輸出包括獲得所述條件神經網絡層的一個或多個決策參數的值。所述神經網絡處理所述層輸入和所述條件神經網絡層的所述決策參數，以從連續的可能潛在參數值的集合來確定所述條件神經網絡層的一個或多個潛在參數的值。所述潛在參數的值指定條件層權重的值。

背景技術

本說明書涉及使用機器學習模型處理數據。

機器學習模型接收輸入，并且基于接收的輸入生成輸出，例如預測輸出。一些機器學習模型是參數模型，并且基于接收的輸入和模型的參數值生成輸出。

一些機器學習模型是深層模型，其采用多層模型來生成針對接收的輸入的輸出。例如，深層神經網絡是深層機器學習模型，其包括輸出層和一個或多個隱藏層，每一隱藏層對接收的輸入應用非線性變換以生成輸出。

發明內容

本說明書描述一種包括一個或多個條件神經網絡層的神經網絡系統，所述系統被實現為在一個或多個位置的一個或多個計算機上的計算機程序。

根據第一方面，提供一種由數據處理設備實現的方法。所述方法包括使用包括多個神經網絡層的神經網絡來處理網絡輸入以生成網絡輸出。每一神經網絡層被配置成根據多個層權重的相應值來處理相應的層輸入以生成相應的層輸出。所述神經網絡層中的一個或多個是條件神經網絡層。

使用條件神經網絡層來處理層輸入以生成層輸出包括獲得所述條件神經網絡層的一個或多個決策參數的值。所述神經網絡處理所述層輸入和所述條件神經網絡層的所述決策參數，以從可能潛在參數值的連續集合來確定所述條件神經網絡層的一個或多個潛在參數的值。所述潛在參數的值指定條件層權重的值。神經網絡從所述潛在參數的值來確定條件層權重的值，并根據所述條件層權重的值來處理層輸入以生成層輸出。

在一些實施方式中，處理層輸入和所述條件神經網絡層的決策參數以從連續的可能潛在參數值的集合來確定所述條件神經網絡層的所述潛在參數的值包括應用可微映射，所述可微映射是所述層輸入和決策參數到所述條件神經網絡的所述潛在參數的值的映射。

在一些實施方式中，應用所述可微映射包括確定所述層輸入和所述條件神經網絡層的所述決策參數之間的內積，并且通過sigmoid函數來處理所述內積。

在一些情況下，神經網絡將條件神經網絡層的潛在參數的值確定為可微映射的輸出，例如sigmoid函數的輸出。

在一些情況下，神經網絡從可微映射的輸出(例如，sigmoid函數的輸出)以及神經網絡中前一條件神經網絡層的潛在參數的值來確定所述條件神經網絡層的潛在參數的值。前一條件神經網絡層是在神經網絡的神經網絡層的排序中在所述條件神經網絡層之前的條件神經網絡層。在此情況下，潛在參數的值可以被確定為可微映射的輸出和前一條件神經網絡層的潛在參數的值的(加權)線性組合。前一條件神經網絡層可以直接在所述條件神經網絡層之前，并且可以提供層輸入。

在一些實施方式中，所述連續的可能潛在參數值的集合是0和1之間的區間。

在一些實施方式中，條件神經網絡層的潛在參數將條件層權重參數化(例如，作為由在訓練期間確定的多個節點定義的B樣條)。神經網絡可以根據所述潛在參數對所述條件層權重的所述參數化，從所述潛在參數的所述值確定所述條件層權重的值。

在一些實施方式中，條件神經網絡層的潛在參數將所述條件層權重參數化為B樣條，或者參數化為被定義為多個B樣條總和的超曲面。潛在參數可以定義沿B樣條的位置或超曲面上的位置。

在一些實施方式中，每一B樣條由多個節點定義，并且定義所述B樣條的節點的值是在訓練期間確定的。