[發(fā)明專利]基于深度學(xué)習(xí)的學(xué)習(xí)率確定方法和裝置

在審

• 申請?zhí)枺?/td>: 201810596984.2
• 申請日: 2018-06-11
• 公開（公告）號: CN108921293A
• 公開（公告）日: 2018-11-30
• 發(fā)明（設(shè)計）人: 賀永剛
• 申請（專利權(quán)）人: 廣州視源電子科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

1.一種基于深度學(xué)習(xí)的學(xué)習(xí)率確定方法，用于確定第t+1次迭代所使用的學(xué)習(xí)率，其特征在于，所述方法包括：

根據(jù)預(yù)設(shè)的次數(shù)m，獲取第t-m+1次到第t次迭代所輸出的m組目標(biāo)損失值ls_t-m+1，ls_t-m+2……ls_t；

根據(jù)m組目標(biāo)損失值確定第t+1次迭代所使用的學(xué)習(xí)率，使所述學(xué)習(xí)率與m組目標(biāo)損失值的變化速率成正比。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)m組目標(biāo)損失值確定第t+1次迭代所使用的學(xué)習(xí)率，使所述學(xué)習(xí)率與m組目標(biāo)損失值的變化速率成正比，包括：

計算lr'_t+1，根據(jù)lr'_t+1確定第t+1次迭代的學(xué)習(xí)率，使所述學(xué)習(xí)率與m組目標(biāo)損失值的變化速率成正比；

其中，g_x為第x次迭代時目標(biāo)損失值的變化量，g_x＝ls_x-ls_x-1，x為大于1的整數(shù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)m組目標(biāo)損失值確定第t+1次迭代所使用的學(xué)習(xí)率，使所述學(xué)習(xí)率與m組目標(biāo)損失值的變化速率成正比，包括：

計算lr'_t+1，根據(jù)lr'_t+1確定第t+1次迭代的學(xué)習(xí)率，使所述學(xué)習(xí)率與m組目標(biāo)損失值的變化速率成正比；

其中，g_x為第x次迭代時目標(biāo)損失值的變化量，g_x＝ls_x-ls_x-1，x為大于1的整數(shù)；

λ為配置參數(shù)，用以確定目標(biāo)損失值的變化速率與學(xué)習(xí)率的相關(guān)度，ε為修正參數(shù)，用以平滑數(shù)值。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述根據(jù)lr'_t+1確定第t+1次迭代的學(xué)習(xí)率，包括：

確定lr'_t+1是否小于lr_min；

如果lr'_t+1小于lr_min，將第t+1次迭代的學(xué)習(xí)率lr_t+1確定為lr_min；

如果lr'_t+1不小于lr_min，將第t+1次迭代的學(xué)習(xí)率lr_t+1確定為lr'_t+1；

其中，lr_min為預(yù)設(shè)的最小學(xué)習(xí)率。

5.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述根據(jù)lr'_t+1確定第t+1次迭代的學(xué)習(xí)率，包括：

確定lr'_t+1是否大于lr_max；

如果lr'_t+1大于lr_max，將第t+1次迭代的學(xué)習(xí)率lr_t+1確定為lr_t+1；

如果lr'_t+1不大于lr_max，將第t+1次迭代的學(xué)習(xí)率lr_t+1確定為lr'_t+1；

其中，lr_max為預(yù)設(shè)的最大學(xué)習(xí)率。

6.一種基于深度學(xué)習(xí)的學(xué)習(xí)率確定裝置，用于確定第t+1次迭代所使用的學(xué)習(xí)率，其特征在于，所述裝置包括：

參數(shù)獲取模塊：用于根據(jù)預(yù)設(shè)的次數(shù)m，獲取第t-m+1次到第t次迭代所輸出的m組目標(biāo)損失值ls_t-m+1，ls_t-m+2……ls_t；

學(xué)習(xí)率確定模塊：用于根據(jù)m組目標(biāo)損失值確定第t+1次迭代的學(xué)習(xí)率，使所述學(xué)習(xí)率與m組目標(biāo)損失值的變化速率成正比。