[發明專利]神經網絡的半監督訓練

在審

• 申請號: 201780070359.8
• 申請日: 2017-11-15
• 公開（公告）號: CN109952583A
• 公開（公告）日: 2019-06-28
• 發明（設計）人: 菲利普·霍伊瑟;亞歷山大·莫德溫特塞夫
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

1.一種訓練神經網絡的方法，所述神經網絡具有多個網絡參數并且被配置為接收輸入數據項目并處理所述輸入數據項目以根據所述網絡參數來生成所述輸入數據項目的嵌入，所述方法包括：

獲得已標記訓練項目的標記批次，其中，所述標記批次中的每個已標記訓練項目與識別所述已標記訓練項目所屬的類別的相應標記相關聯；

使用所述神經網絡并根據所述網絡參數的當前值來處理所述標記批次中的所述已標記訓練項目，以針對每個所述已標記訓練項目生成相應的嵌入；

獲得未標記訓練項目的未標記批次；

使用所述神經網絡并根據所述網絡參數的當前值來處理所述未標記批次中的所述未標記訓練項目，以針對每個所述未標記訓練項目生成相應的嵌入；

確定多個相似性值，每個相似性值測量用于相應的已標記訓練項目的嵌入與用于相應的未標記訓練項目的嵌入之間的相似性；

根據所述相似性值確定用于多個往返路徑中的每一個的相應的往返路徑概率，其中，每個往返路徑從用于相應的起始已標記訓練項目的嵌入開始，轉到用于相應的未標記訓練項目的嵌入，并且返回到用于相應的結束已標記訓練項目的嵌入；以及

執行神經網絡訓練過程的迭代，以確定對所述網絡參數的所述當前值的第一值更新，所述第一值更新減小用于不正確的往返路徑的往返路徑概率，其中，不正確的往返路徑是所述起始已標記訓練項目和所述結束已標記訓練項目具有不同的標記的往返路徑。

2.根據權利要求1所述的方法，進一步包括：

提供指定經訓練的神經網絡的數據，以用于生成新輸入數據項目的嵌入。

3.根據權利要求1或2中的任何一項所述的方法，其中，確定用于多個往返路徑中的每一個的相應的往返路徑概率包括：

基于用于所述往返路徑的所述起始已標記訓練項目的嵌入與用于所述往返路徑的所述未標記訓練項目的嵌入之間的所述相似性值來確定從用于所述往返路徑的所述起始已標記訓練項目的嵌入到用于所述往返路徑的所述未標記訓練項目的嵌入的前向路徑的前向路徑概率；

基于用于所述往返路徑的所述未標記訓練項目的嵌入與用于所述往返路徑的所述結束已標記訓練項目的嵌入之間的所述相似性值來確定從用于所述往返路徑的所述未標記訓練項目的嵌入到用于所述往返路徑的所述結束已標記訓練項目的嵌入的后向路徑的后向路徑概率；以及

根據所述前向路徑概率和所述后向路徑概率來確定所述往返路徑概率。

4.根據權利要求3所述的方法，其中，執行所述神經網絡訓練過程的迭代包括：

執行所述迭代以確定對所述網絡參數的當前值的第二值更新，所述第二值更新增加在用于未標記訓練輸入的嵌入的訪問概率上的一致性，其中，給定未標記訓練輸入的嵌入的訪問概率是轉到用于所述未標記訓練輸入的所述嵌入的前向路徑的前向路徑概率的和。

5.根據權利要求4所述的方法，其中，執行所述迭代以確定所述第二值更新包括：

執行所述迭代以使(i)在所述未標記訓練輸入上的一致目標分布與(ii)從用于所述未標記訓練輸入的所述訪問概率取得的項之間的交叉熵損失最小化。

6.根據權利要求1至5中的任何一項所述的方法，其中，執行所述迭代以確定所述第一值更新包括：

執行所述迭代以使以下各項之間的交叉熵損失最小化：(i)在各自包括相應的第一已標記訓練輸入和相應的第二已標記訓練輸入的已標記訓練輸入對上的目標分布，以及(ii)對于每個已標記訓練輸入對，在所述對的所述第一已標記訓練輸入處開始并且返回到所述對的所述第二已標記訓練輸入的往返路徑的往返概率的和。

7.根據權利要求6所述的方法，其中，所述目標分布向包括具有不同標記的第一已標記訓練輸入和第二已標記訓練輸入的已標記訓練輸入對指派零概率。

8.根據權利要求6或7中的任何一項所述的方法，其中，所述目標分布向包括具有相同標記的第一已標記訓練輸入和第二已標記訓練輸入的已標記訓練輸入對指派等于一除以具有所述標記的已標記訓練輸入的總數目的概率。