[發明專利]神經網絡的半監督訓練

在審

• 申請號: 201780070359.8
• 申請日: 2017-11-15
• 公開（公告）號: CN109952583A
• 公開（公告）日: 2019-06-28
• 發明（設計）人: 菲利普·霍伊瑟;亞歷山大·莫德溫特塞夫
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

用于訓練神經網絡的方法、系統和裝置，包括在計算機存儲介質上編碼的計算機程序。一種方法包括：獲得一批次的已標記訓練項目和一批次的未標記訓練項目；使用所述神經網絡并根據網絡參數的當前值來處理所述已標記訓練項目和所述未標記訓練項目，以生成相應的嵌入；確定多個相似性值，每個相似性值測量用于相應的已標記訓練項目的嵌入與用于相應的未標記訓練項目的嵌入之間的相似性；確定用于多個往返路徑中的每一個的相應的往返路徑概率；以及執行神經網絡訓練過程的迭代，以確定對所述網絡參數的當前值的第一值更新，所述第一值更新減小不正確的往返路徑的往返路徑概率。

技術領域

本說明書涉及一種訓練神經網絡。

背景技術

神經網絡是采用非線性單元的一個或多個層來針對接收到的輸入預測輸出的機器學習模型。一些神經網絡除了包括輸出層之外還包括一個或多個隱藏層。每個隱藏層的輸出被用作網絡中的下一個層(即，下一個隱藏層或輸出層)的輸入。網絡的每個層根據一相應組的參數的當前值來從接收到的輸入生成輸出。

發明內容

本說明書描述了作為計算機程序實現在一個或多個位置中的一個或多個計算機上的系統，所述系統訓練神經網絡，所述神經網絡具有網絡參數并且被配置為接收輸入數據項目并處理輸入數據項目，以根據網絡參數來生成輸入數據項目的嵌入。特別地，系統以半監督方式(即，使用已標記訓練項目和未標記訓練項目兩者)訓練神經網絡。

在一些方面中，方法和相對應的系統包括：獲得已標記訓練項目的標記批次，其中標記批次中的每個已標記訓練項目與識別已標記訓練項目所屬的類別的相應的標記相關聯；使用神經網絡并根據網絡參數的當前值來處理標記批次中的已標記訓練項目，以針對已標記訓練項目中的每一個生成相應的嵌入；獲得未標記訓練項目的未標記批次；使用神經網絡并根據網絡參數的當前值來處理未標記批次中的未標記訓練項目，以針對未標記訓練項目中的每一個生成相應的嵌入；確定多個相似性值，每個相似性值測量用于相應的已標記訓練項目的嵌入與用于相應的未標記訓練項目的嵌入之間的相似性；根據相似性值確定用于多個往返路徑中的每一個的相應的往返路徑概率，每個往返路徑從用于相應的起始已標記訓練項目的嵌入開始，轉到用于相應的未標記訓練項目的嵌入，并且返回到用于相應的結束已標記訓練項目的嵌入；以及執行神經網絡訓練過程的迭代，以確定對網絡參數的當前值的第一值更新，所述第一值更新減小不正確的往返路徑的往返路徑概率，其中不正確的往返路徑是起始已標記訓練項目和結束已標記訓練項目具有不同的標記的往返路徑。

可選地，該方法然后包括：提供指定經訓練的神經網絡的數據，以用于生成新輸入數據項目的嵌入。

在一些實現方式中為了減小往返路徑概率，訓練可以采用損失項目，后面被稱為沃克(walker)損失項目，其依賴于目標分布與一個或多個往返概率的和之間的差異。例如通過在目標分布中給這些不正確的路徑指派比正確的路徑低的概率，例如，通過給不正確的路徑指派零概率，可以選取目標分布以阻止與正確的往返路徑有關的不正確的往返路徑，所述正確的往返路徑在具有相同標記的已標記訓練項目處開始和結束。用于第一值更新的一個適合的損失項目是目標分布與往返概率的和之間的交叉熵損失項目。訓練可以包括包含有損失項目的基于梯度上升或下降的過程，其目的旨在使此項最小化。

在一些實現方式中確定路徑的往返概率可以包括：對于往返路徑確定從用于起始已標記訓練項目的嵌入到用于未標記訓練項目的嵌入的前向路徑概率并且確定從用于未標記訓練項目的嵌入到用于結束已標記訓練項目的嵌入的后向路徑概率。可以基于兩個嵌入之間的確定的相似性來確定路徑概率，例如，根據這些嵌入之間的點積或者使用這些嵌入之間的距離的量度來計算。