[發明專利]針對神經網絡的迭代式小樣本精細化的微訓練

在審

• 申請號: 202011083316.3
• 申請日: 2020-10-12
• 公開（公告）號: CN113392968A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: A·帕特尼;B·L·羅利特;徐英浩;A·L·艾德斯登;A·E·勒福恩
• 申請（專利權）人: 輝達公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06T5/00
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 趙楠

1.一種方法，包括：

接收使用第一組超參數和第一訓練數據集訓練為滿足損失函數的神經網絡，其中，訓練后的神經網絡生成包括視覺偽像的輸出數據；

接收第二訓練數據集；

接收第二組超參數，其中與所述第一組超參數中的對應的第一學習參數相比，在所述第二組超參數中指定的第二學習參數限制對所述神經網絡使用的一個或更多個權重的調整；和

根據所述第二組超參數將所述第二訓練數據集應用于所述神經網絡，同時調整所述一個或更多個權重，所述神經網絡使用所述一個或更多個權重處理所述第二訓練數據集，以產生第一微訓練神經網絡。

2.根據權利要求1所述的方法，其中，所述第一學習參數包括第一學習率，并且所述第二學習參數包括小于所述第一學習率的第二學習率。

3.根據權利要求2所述的方法，其中，所述第二學習率比所述第一學習率低至少十倍。

4.根據權利要求1所述的方法，還包括：確定已經滿足完成要求。

5.根據權利要求4所述的方法，其中確定包括從用戶界面接收輸入指示。

6.根據權利要求1所述的方法，還包括：使用所述第一微訓練神經網絡從所述第二訓練數據集中的相應訓練圖像生成并顯示測試圖像，其中，相對于針對所述相應訓練圖像通過所述神經網絡所生成的第二測試圖像，減少了在所述測試圖像內的所述視覺偽像。

7.根據權利要求1所述的方法，其中，所述視覺偽像包括幾何混疊偽像。

8.根據權利要求1所述的方法，其中，所述視覺偽像包括渲染噪聲偽像。

9.根據權利要求1所述的方法，其中，所述視覺偽像包括照明效果偽像。

10.根據權利要求1所述的方法，其中，所述神經網絡利用第一組激活函數權重來實現U-Net架構，并且所述第一微訓練神經網絡利用第二組不同的激活函數權重來實現相應的U-Net架構。

11.根據權利要求1所述的方法，其中，所述第一組超參數包括第一訓練迭代計數，并且所述第二組超參數包括小于所述第一訓練迭代計數的第二訓練迭代計數。

12.根據權利要求11所述的方法，其中，所述第二訓練迭代計數比所述第一訓練迭代計數小至少一千倍。

13.一種系統，包括：

存儲電路，存儲有編程指令；

并行處理單元，耦合到所述存儲電路，其中，所述并行處理單元檢索并執行所述編程指令以：

接收使用第一組超參數和第一訓練數據集進行訓練以滿足損失函數的神經網絡，其中，訓練后的神經網絡生成包括視覺偽像的輸出數據；

接收第二訓練數據集；

接收第二組超參數，其中與所述第一組超參數中的對應的第一學習參數相比，在所述第二組超參數中指定的第二學習參數限制對所述神經網絡使用的一個或更多個權重的調整；和

根據所述第二組超參數將所述第二訓練數據集應用于所述神經網絡，同時調整所述神經網絡處理所述第二訓練數據集所使用的所述一個或更多個權重，以產生第一微訓練神經網絡。

14.根據權利要求13所述的系統，其中，所述第一學習參數包括第一學習率，并且所述第二學習參數包括小于所述第一學習率的第二學習率，所述第二學習率比所述第一學習率低至少十倍。

15.根據權利要求13所述的系統，其中，所述視覺偽像包括以下一項或更多項：幾何混疊偽像、渲染噪聲偽像和照明效果偽像。

16.根據權利要求13所述的系統，其中，所述第一組超參數包括第一訓練迭代計數，并且所述第二組超參數包括小于所述第一訓練迭代計數的第二訓練迭代計數。