[發明專利]訓練圖像分類模型的方法及裝置、計算機裝置及存儲介質

在審

• 申請號: 202010158528.7
• 申請日: 2020-03-09
• 公開（公告）號: CN111368931A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 楊武;馬海龍
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 安偉

1.一種訓練圖像分類模型的方法，其特征在于，包括：

采用第一訓練圖像數據集，在固定除學習率以外的超參數的情況下，對待訓練的圖像分類模型進行預訓練，獲得預訓練過程中各訓練周期的損失值，其中，所述預訓練過程中的訓練周期數目為N，N為正整數，每個訓練周期設置有對應的學習率；

基于預訓練過程中各訓練周期對應的學習率，以及獲得的各訓練周期的損失值，確定常規訓練使用的最大學習率和最小學習率；

基于所述最大學習率和所述最小學習率，采用第二訓練圖像數據集對所述圖像分類模型進行常規訓練。

2.如權利要求1所述的方法，其特征在于，所述除學習率以外的超參數包括正則化參數、訓練樣本批量大小和訓練周期數目中的至少一種。

3.如權利要求1所述的方法，其特征在于，所述采用第一訓練圖像數據集，在固定除學習率以外的超參數的情況下，對待訓練的神經網絡圖像分類模型進行預訓練之前，還包括：

從第一存儲器中讀取所述除學習率以外的超參數。

4.如權利要求1所述的方法，其特征在于，所述獲得預訓練過程中各訓練周期的損失值之后，還包括：

將所述各訓練周期的損失值存儲到第二存儲器中，所述第二存儲器中還存儲有各訓練周期對應的學習率；

所述基于預訓練過程中各訓練周期對應的學習率，以及獲得的各訓練周期的損失值，確定常規訓練使用的最大學習率和最小學習率，之前還包括：

從所述第二存儲器中讀取所述各訓練周期對應的學習率，以及所述訓練周期的損失值。

5.如權利要求1所述的方法，其特征在于，每個訓練周期包括M個學習步數，每個訓練周期設置有對應M個學習率，且所述學習步數和所述學習率一一對應，其中M為正整數；

所述獲得預訓練過程中各訓練周期的損失值包括：

獲得預訓練過程中各訓練周期內M個學習步數對應的損失值；

所述基于預訓練過程中各訓練周期對應的學習率，以及獲得的各訓練周期的損失值，確定常規訓練時的最大學習率和最小學習率包括：

基于預訓練過程中各訓練周期對應的M個學習率，以及各訓練周期內所述M個學習步數對應的損失值，確定常規訓練時的最大學習率和最小學習率。

6.如權利要求5所述的方法，其特征在于，各訓練周期中的M個學習步數對應的學習率依次遞增，且第i個訓練周期設置的學習率均大于第i-1個訓練周期中設置的學習率，其中i為大于或等于2，小于或等于N的正整數。

7.如權利要求6所述的方法，其特征在于，所述基于預訓練過程中各訓練周期對應的M個學習率，以及各訓練周期內所述M個學習步數對應的損失值，確定常規訓練時的最大學習率和最小學習率包括：

基于所述預訓練過程中各訓練周期對應的M個學習率，以及各訓練周期內所述M個學習步數對應的損失值，構建學習率與損失值的函數關系式；

基于所述學習率與損失值的函數關系式的對應曲線，得到損失值連續遞減的最大區間；

將所述最大區間內最小損失值對應的學習率確定為最大學習率；

基于所述最大學習率，以及預設的比例關系，得到最小學習率。

8.一種訓練圖像分類模型的裝置，其特征在于，包括：

第一訓練單元，用于采用第一訓練圖像數據集，在固定除學習率以外的超參數的情況下，對待訓練的圖像分類模型進行預訓練，獲得預訓練過程中各訓練周期的損失值，其中，所述預訓練過程中的訓練周期數目為N，N為正整數，每個訓練周期設置有對應的學習率；

計算單元，用于基于預訓練過程中各訓練周期對應的學習率，以及獲得的各訓練周期的損失值，確定常規訓練使用的最大學習率和最小學習率；

第二訓練單元，用于基于所述最大學習率和所述最小學習率，采用第二訓練圖像數據集對所述圖像分類模型進行常規訓練。