[發明專利]構建神經網絡的方法、裝置和計算機可讀介質

在審

• 申請號: 201811559229.3
• 申請日: 2018-12-19
• 公開（公告）號: CN109657792A
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 許國偉;丁文彪;楊松帆;劉子韜;張邦鑫
• 申請（專利權）人: 北京世紀好未來教育科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/063
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

本公開的實施例涉及構建神經網絡的訓練方法、裝置和計算機可讀介質。該方法包括：從用于訓練神經網絡的樣本集選擇樣本組，樣本組至少包括兩正樣本和一負樣本，兩正樣本中包括第一樣本；利用神經網絡的參數集的當前值來分別處理樣本組中的相應樣本，以獲得對應的特征表示；確定第一樣本相對應的第一特征表示分別與樣本組中余下的至少一正樣本和一負樣本相對應的特征表示的相應相關度；以及基于相應相關度，確定參數集的更新值。基于這樣的方法，可以基于有限的訓練樣本來獲得更優的神經網絡模型，從而得到更優的特征表示。

技術領域

本公開的實施例涉及人工智能領域，并且更具體地，涉及構建神經網絡的方法、裝置和計算機可讀介質。

背景技術

近幾年來，機器學習技術正在不斷地發展，在計算機視覺、語音處理、人工智能等眾多領域取得了巨大的突破，顯著地提高了機器算法在圖像分類、目標檢測、語音識別、機器翻譯、內容過濾等多個任務中的性能，并且在互聯網、視頻監控等不同行業中得到了廣泛應用。

神經網絡模型基于參數集來處理輸入數據。在對神經網絡模型的訓練過程中，訓練樣本的數量和質量直接決定模型的經訓練的參數集是否準確，進而影響神經網絡模型的最終輸出。在實際應用中，通過人工或眾包的方式對樣本進行標注的成本較為昂貴，并且其獲得的標簽的準確度也難以被保證。因此，如何基于有限的樣本進行充分的訓練以得到更優的神經網絡模型成為了當前關注的焦點。

發明內容

本公開的實施例提供一種用于構建神經網絡的方案。

根據本公開的第一方面，提出了一種構建神經網絡的方法。該方法包括：從用于訓練神經網絡的樣本集選擇樣本組，樣本組至少包括兩正樣本和一負樣本，兩正樣本中包括第一樣本；利用神經網絡的參數集的當前值來分別處理樣本組中的相應樣本，以獲得對應的特征表示；確定第一樣本相對應的第一特征表示分別與樣本組中余下的至少一正樣本和一負樣本相對應的特征表示的相應相關度；以及基于相應相關度，確定參數集的更新值。

根據本公開的第二方面，提出了一種用于構建神經網絡的裝置。該裝置包括：選擇模塊，被配置為從用于訓練神經網絡的樣本集選擇樣本組，樣本組至少包括兩正樣本和一負樣本，兩正樣本中包括第一樣本；處理模塊，被配置為利用神經網絡的參數集的當前值來分別處理樣本組中的相應樣本，以獲得對應的特征表示；相關度確定模塊，被配置為確定第一樣本相對應的第一特征表示分別與樣本組中余下的至少一正樣本和一負樣本相對應的特征表示的相應相關度；以及更新值確定模塊，被配置為基于相應相關度，確定參數集的更新值。

在本公開的第三方面，提供了一種計算機可讀存儲介質。該計算機可讀存儲介質具有存儲在其上的計算機可讀程序指令，所述計算機可讀程序指令用于執行根據第一方面所描述的方法。

提供發明內容部分是為了以簡化的形式來介紹對概念的選擇，它們在下文的具體實施方式中將被進一步描述。發明內容部分無意標識本公開的關鍵特征或必要特征，也無意限制本公開的范圍。

附圖說明

通過結合附圖對本公開示例性實施例進行更詳細的描述，本公開的上述以及其它目的、特征和優勢將變得更加明顯，其中，在本公開示例性實施例中，相同的參考標號通常代表相同部件。

圖1圖示了可以用來實施本公開實施例的環境的示意圖；

圖2圖示了根據本公開實施例的構建神經網絡的方法的流程圖；

圖3圖示了根據本公開實施例的獲取樣本集的方法的流程圖；

圖4圖示了根據本公開實施例的構建神經網絡系統的示意圖；

圖5圖示了根據本公開的一些實施例的更新參數集的方法的流程圖；

圖6圖示了根據本公開的另一實施例的更新參數集的方法的流程圖；