[發明專利]以自適應學習率學習神經網絡的方法及裝置

有效

• 申請號: 201910936106.5
• 申請日: 2019-09-29
• 公開（公告）號: CN111008690B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 金桂賢;金镕重;金寅洙;金鶴京;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 馬爽;臧建明

1.一種學習方法，用于每當學習的迭代累積次數達到第一至第n特定值中的一個時調整學習率以學習神經網絡，其特征在于，包括：

a：學習裝置在預設了作為用于調整學習率變更比例的常數的第一伽馬的狀態下，i：在所述迭代累積次數在第一特定值以下期間，執行利用訓練數據中的一部分以第一預設的學習率反復所述神經網絡的所述學習的第一學習過程，ii：參照通過所述第一學習過程獲得的所述神經網絡的第一損失將所述第一伽馬變更為第二伽馬的步驟；

b：所述學習裝置在將k從2增大到n-1的過程中，b1：在所述迭代累積次數超過第k-1特定值且在第k特定值以下期間，執行利用所述訓練數據中的一部分以第k學習率反復所述神經網絡的所述學習的第k學習過程，b2)i：參照通過所述第k學習過程獲得的所述神經網絡的第k損失將第k伽馬變更為第k+1伽馬，ii：利用所述第k+1伽馬將第k學習率變更為第k+1學習率，b3：所述迭代累積次數超過第k特定值且在第k+1特定值以下期間，執行利用所述訓練數據中的一部分以第k+1學習率反復所述神經網絡的所述學習的第k+1學習過程的步驟；

在所述b步驟，

所述學習裝置參照第k損失梯度將所述第k伽馬變更為第k+1伽馬，參照所述神經網絡的i：所述第k損失及ii：第k-1損失算出所述第k損失梯度，通過在所述迭代累積次數超過第k-2特定值且在第k-1特定值以下期間利用所述訓練數據中的一部分反復所述神經網絡的所述學習的第k-1學習過程獲得所述第k-1損失，

所述學習裝置在所述第k損失梯度為預設的最小損失梯度以上的情況下，參照對所述第k伽馬與所述第k損失梯度進行乘法運算算出的結果確定所述第k+1伽馬。

2.根據權利要求1所述的學習方法，其特征在于：

所述學習裝置在所述第k損失梯度小于預設的最小損失梯度的情況下，將所述第k+1伽馬確定為所述第k伽馬。

3.根據權利要求1所述的學習方法，其特征在于：

所述學習裝置將所述第k損失的和相對于所述第k-1損失的和的比確定為所述第k損失梯度。

4.根據權利要求1所述的學習方法，其特征在于：

在所述b步驟，

所述學習裝置將對所述第k學習率與所述第k+1伽馬進行乘法運算算出的結果確定為所述第k+1學習率。

5.根據權利要求1所述的學習方法，其特征在于：

所述訓練數據中的所述一部分分別為批數據，

將所述迭代累積次數在所述第一特定值以下期間被使用的所述批數據的數確定為與所述第一學習過程期間的迭代次數相同，

將所述迭代累積次數超過所述第k特定值且在第k+1特定值以下期間被使用的所述批數據的數確定為與所述第k+1學習過程期間的迭代次數相同。

6.根據權利要求5所述的學習方法，其特征在于：

所述迭代累積次數在所述第一特定值以下期間被使用的所述批數據的數與所述迭代累積次數超過所述第k特定值且在所述k+1特定值以下期間被使用的批數據的數相同。

7.根據權利要求1所述的學習方法，其特征在于：

所述神經網絡包括i：對訓練數據適用至少一個卷積運算使得輸出至少一個特征圖的至少一個卷積層、ii：對合并所述特征圖上的對應于感興趣區域的區域算出的至少一個特征向量適用至少一個全連接運算，算出對應于所述訓練數據中的至少一個客體的概率值的至少一個全連接層及iii：算出對應于所述全連接層算出的所述概率值的至少一個類得分及至少一個回歸德爾塔的輸出層，

所述學習裝置利用參照所述輸出層的至少一個算出結果和與之對應的基礎事實GT算出的損失進行反向傳播以學習所述全連接層及所述卷積層的情況下，所述學習裝置參照所述第一學習率至所述第k學習率確定所述全連接層及所述卷積層的至少一個參數的變動幅度。