[發明專利]一種深度學習模型的訓練方法及裝置

在審

• 申請號: 201810258256.0
• 申請日: 2018-03-27
• 公開（公告）號: CN108734193A
• 公開（公告）日: 2018-11-02
• 發明（設計）人: 李誠;周曉;朱才志
• 申請（專利權）人: 合肥麟圖信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N99/00
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

本發明實施例提供了一種深度學習模型的訓練方法及裝置，方法為：首先訓練得到中間深度學習模型；計算訓練樣本集中各個樣本的特征向量以及計算中心點距離目標函數的中間參數的初始值；將中心點距離目標函數添加到中間深度學習模型中并加載中間參數的初始值，得到目標深度學習模型；利用當前目標深度學習模型，計算當前批次數據中各個樣本的特征向量，并更新中間參數的參數值；計算中心點距離目標函數的函數值和分類目標函數的函數值，并判斷是否符合結束訓練的條件；如果否，調整當前目標深度學習模型的參數，導入下一批次數據并進行模型訓練；如果是，結束訓練。應用本發明實施例提供的方案可以提升深度學習模型的分類準確率。

技術領域

本發明涉及機器學習技術領域，特別是涉及一種深度學習模型的訓練方法及裝置。

背景技術

包含分類目標函數的深度學習模型，即帶有分類任務的深度學習模型(深度學習分類模型)，其通用架構是：首先采用若干組“卷積-非線性激勵-池化”模塊提取出數據分布的特征，然后采用“全連接”或者“1×1卷積”將特征縮減到指定數量個類別，最后通過softmax等分類目標函數實現類別分值的推斷。而將包含分類目標函數的深度學習模型與中心點距離目標函數相結合，能夠使得深度學習模型學習到的數據分布更加緊湊。

對于包含分類目標函數的深度學習模型，根據每一類別所包含的各個樣本的特征向量可以計算得到該類別的中心點，該類別中各個樣本到該類別的中心點的距離為中心點距離。在深度學習模型的訓練過程中，可以通過減小中心點距離，來提升深度學習模型的分類準確率。

目前，在深度學習模型的訓練過程中，均采用批次數據訓練的形式對模型參數進行更新，但是現有方法是采用批次數據對中心點距離目標函數的函數值進行近似的方式來確定各個類別的中心點距離，也就是說，在訓練過程中計算出的中心點距離不準確，從而導致深度學習模型的分類準確率不高。

發明內容

本發明實施例的目的在于提供一種深度學習模型的訓練方法、裝置、電子設備及計算機可讀存儲介質，以提升深度學習模型的分類準確率。具體技術方案如下：

第一方面，本發明實施例提供了一種深度學習模型的訓練方法，所述方法包括：

利用訓練樣本集中的各個樣本，對預先構建的初始深度學習模型進行訓練，得到中間深度學習模型；其中，所述初始深度學習模型為：加載有分類目標函數的深度學習模型；

利用所述中間深度學習模型，計算所述訓練樣本集中各個樣本的特征向量，并根據所述訓練樣本集中各個樣本的特征向量，計算中心點距離目標函數的中間參數的初始值；

將所述中心點距離目標函數添加到所述中間深度學習模型中并加載所述中間參數的初始值，得到目標深度學習模型；

導入所述訓練樣本集中的預設數量個樣本作為批次數據；

利用當前目標深度學習模型，計算當前批次數據中各個樣本的特征向量，并根據當前批次數據中各個樣本的特征向量，更新所述中間參數的參數值；

基于當前批次數據中各個樣本的特征向量，計算所述中心點距離目標函數的函數值和所述分類目標函數的函數值，并判斷計算得到的中心點距離目標函數的函數值是否收斂到第一預定區間，且計算得到的分類目標函數的函數值是否收斂到第二預定區間；

如果否，利用所述中心點距離目標函數的反向傳播梯度和所述分類目標函數的反向傳播梯度，調整當前目標深度學習模型的參數，并返回執行所述導入所述訓練樣本集中的預設數量個樣本作為批次數據的步驟；

如果是，結束對所述當前目標深度學習模型的訓練。

可選的，所述中心點距離目標函數的中間參數包括：各個類別的中心點、每一類別中的各個樣本與該類別的中心點的偏差和、每一類別中的各個樣本與該類別的中心點的距離的平方和；