[發明專利]以自適應學習率學習神經網絡的方法及裝置

有效

• 申請號: 201910936106.5
• 申請日: 2019-09-29
• 公開（公告）號: CN111008690B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 金桂賢;金镕重;金寅洙;金鶴京;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 馬爽;臧建明

本發明涉及以自適應學習率學習神經網絡的方法及裝置、利用其測試神經網絡的方法及裝置。所述學習方法包括：(a)學習裝置在預設了作為用于調整學習率變更比例的常數的第一伽馬的狀態下，(i)在所述迭代累積次數在第一特定值以下期間，執行利用訓練數據中的一部分以第一預設的學習率反復所述神經網絡的所述學習的第一學習過程，(ii)參照通過所述第一學習過程獲得的所述神經網絡的第一損失將所述第一伽馬變更為第二伽馬的步驟；(b)所述學習裝置在將k從2增大到(n?1)的過程中，(b1)在所述迭代累積次數超過第(k?1)特定值且在第k特定值以下期間，執行反復所述神經網絡的所述學習的第k學習過程等過程的步驟。本發明能夠最小化學習神經網絡所需的時間。

技術領域

本發明涉及以自適應學習率學習神經網絡的方法及裝置、利用其測試神經網絡的方法及裝置。具體來講，涉及具有以下特征的學習方法及裝置、利用其的測試方法及裝置，即，所述學習方法是在每當學習的迭代累積次數達到第一至第n特定值中的一個時調整學習率學習神經網絡(neural?net?work)的方法，其特征在于，包括：(a)學習裝置在預設了作為用于調整學習率變更比例的常數的第一伽馬的狀態下，(i)在所述迭代累積次數在第一特定值以下期間，執行利用訓練數據中的一部分以第一預設的學習率反復所述神經網絡的所述學習的第一學習過程，(ii)參照通過所述第一學習過程獲得的所述神經網絡的第一損失將所述第一伽馬變更為第二伽馬的步驟；(b)所述學習裝置在將k從2增大到(n-1)的過程中，(b1)在所述迭代累積次數超過第(k-1)特定值且在第k特定值以下期間，執行利用所述訓練數據中的一部分以第k學習率反復所述神經網絡的所述學習的第k學習過程，(b2)(i)參照通過所述第k學習過程獲得的所述神經網絡的第k損失將第k伽馬變更為第(k+1)伽馬，(ii)利用所述第(k+1)伽馬將第k學習率變更為第(k+1)學習率，(b3)所述迭代累積次數超過第k特定值且在第(k+1)特定值以下期間，利用所述訓練數據中的一部分以第(k+1)學習率反復所述神經網絡的所述學習的第(k+1)學習過程的步驟。

背景技術

近來在研究利用機器學習識別物體等的方法。深度學習作為這種機器學習之一，是利用輸入層與輸出層之間具有多個隱藏層的神經網絡的機器學習，具有高識別性能。

并且，這種利用深度學習的神經網絡一般通過利用一個以上的損失的反向傳播進行學習。

但是，通過反向傳播學習神經網絡的情況下使學習率，即向一個以上的參數反映損失的比例越小，則越能夠更精密地學習，但具有學習上耗費大量時間的問題。

因此，以往通過執行預定次數的反復學習后將學習率減小預定量的方式學習神經網絡。即，初始學習時采用大的學習率使得參數的變動幅度大，以使得能夠快速學習，之后階段性地減小學習率以縮小參數的變動幅度，以使得能夠微調。

參見圖1a及圖1b對這種現有的學習神經網絡的方法進行說明。

首先，設定關于神經網絡的學習率的初始常數值。

在此，初始常數值可包括(i)作為初始學習率的基本學習率(lr)、(ii)作為用于變更學習率的迭代(iteration)單位的步(step)及(iii)作為用于調整學習率變更比例的常數的伽馬(gamma)。在此，迭代可以是利用一個批數據的學習的反復次數。

此時，學習率可用如下數學式1表示。

[數學式1]

圖1a例示性地示出設定基本學習率(lr)為0.01、步為100,000，伽馬為0.1的狀態下學習率變更的狀態，圖1b示出利用圖1a的變更的學習率學習神經網絡的狀態下損失的變更狀態。