[發明專利]針對神經網絡的迭代式小樣本精細化的微訓練

在審

• 申請號: 202011083316.3
• 申請日: 2020-10-12
• 公開（公告）號: CN113392968A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: A·帕特尼;B·L·羅利特;徐英浩;A·L·艾德斯登;A·E·勒福恩
• 申請（專利權）人: 輝達公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06T5/00
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 趙楠

本發明公開了針對神經網絡的迭代式小樣本精細化的微訓練。所公開的微訓練技術通過使用相對短的系列微訓練步驟以低學習率執行迭代精細化來提高訓練的神經網絡的準確性。神經網絡訓練框架接收訓練后的神經網絡以及第二訓練數據集和超參數集。神經網絡訓練框架通過使用較低的學習率來調整訓練后的神經網絡的一個或更多個權重，從而促進增量精度的提高，而本質上不改變訓練后的神經網絡的計算結構，從而產生微訓練的神經網絡。可以評估微訓練的神經網絡的準確性和/或質量的變化。可以在微訓練的神經網絡上執行其他微訓練會話，以進一步提高準確性或質量。

技術領域

本公開涉及神經網絡訓練，并且更具體地，涉及對神經網絡的迭代式小樣本精細化的微訓練。

背景技術

常規的神經網絡訓練技術有時在準確性或質量方面產生不足的結果。當訓練基于可能不足、片面的或其組合的數據集時，尤其如此。此外，傳統的訓練技術通常在訓練損失不準確或數據不足導致再訓練不切實際或無效的受限情況下無法提供其他改進機會。在生成型神經網絡圖像合成應用程序中，以生成的圖像中的圖像偽影的形式出現的結果可能不充分。需要解決這些問題和/或與現有技術相關聯的其他問題。

發明內容

公開了一種方法、計算機可讀介質和系統，用于微訓練神經網絡以提高準確性和/或質量。該方法包括使用第一組超參數和第一訓練數據集接收訓練為滿足損失函數的神經網絡，接收第二訓練數據集，以及接收第二組超參數。在一個實施例中，與第一組超參數中的對應的第一學習參數相比，在第二組超參數中指定的第二學習參數限制了神經網絡使用的一個或更多個權重的調整。該方法還包括根據第二組超參數將第二訓練數據集應用于神經網絡，以通過調整神經網絡用來處理第二訓練數據集的一個或更多個權重來產生第一微訓練神經網絡。在某些應用程序中，經訓練的神經網絡會生成包括視覺偽影的輸出數據，并且，根據該方法產生的第一微訓練神經網絡減少了視覺偽像。

附圖說明

圖1A示出了根據一個實施例的用于微訓練神經網絡的方法的流程圖。

圖1B示出了根據一個實施例的在整個假設空間內的微訓練。

圖1C示出了根據一個實施例的神經網絡框架。

圖2A示出了根據一個實施例的用于使用微訓練來改善神經網絡訓練的方法的流程圖。

圖2B示出了根據一個實施例的各種微訓練網絡的層之間的平均差的圖。

圖3示出了根據一個實施例的并行處理單元。

圖4A示出了根據一個實施例的在圖3的并行處理單元內的一般處理集群。

圖4B示出了根據一個實施例的圖3的并行處理單元的存儲器分區單元。

圖5A示出了根據一個實施例的圖4A的流式多處理器。

圖5B是根據實施例的使用圖3的PPU實現的處理系統的概念圖。

圖5C示出了其中可以實現各種先前實施例的各種架構和/或功能的示例性系統。

具體實施方式