[發明專利]一種深度學習模型的訓練方法及裝置

在審

• 申請號: 201810258256.0
• 申請日: 2018-03-27
• 公開（公告）號: CN108734193A
• 公開（公告）日: 2018-11-02
• 發明（設計）人: 李誠;周曉;朱才志
• 申請（專利權）人: 合肥麟圖信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N99/00
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

1.一種深度學習模型的訓練方法，其特征在于，所述方法包括：

利用訓練樣本集中的各個樣本，對預先構建的初始深度學習模型進行訓練，得到中間深度學習模型；其中，所述初始深度學習模型為：加載有分類目標函數的深度學習模型；

利用所述中間深度學習模型，計算所述訓練樣本集中各個樣本的特征向量，并根據所述訓練樣本集中各個樣本的特征向量，計算中心點距離目標函數的中間參數的初始值；

將所述中心點距離目標函數添加到所述中間深度學習模型中并加載所述中間參數的初始值，得到目標深度學習模型；

導入所述訓練樣本集中的預設數量個樣本作為批次數據；

利用當前目標深度學習模型，計算當前批次數據中各個樣本的特征向量，并根據當前批次數據中各個樣本的特征向量，更新所述中間參數的參數值；

基于當前批次數據中各個樣本的特征向量，計算所述中心點距離目標函數的函數值和所述分類目標函數的函數值，并判斷計算得到的中心點距離目標函數的函數值是否收斂到第一預定區間，且計算得到的分類目標函數的函數值是否收斂到第二預定區間；

如果否，利用所述中心點距離目標函數的反向傳播梯度和所述分類目標函數的反向傳播梯度，調整當前目標深度學習模型的參數，并返回執行所述導入所述訓練樣本集中的預設數量個樣本作為批次數據的步驟；

如果是，結束對所述當前目標深度學習模型的訓練。

2.根據權利要求1所述的方法，其特征在于，所述中心點距離目標函數的中間參數包括：各個類別的中心點、每一類別中的各個樣本與該類別的中心點的偏差和、每一類別中的各個樣本與該類別的中心點的距離的平方和；

所述根據所述訓練樣本集中各個樣本的特征向量，計算中心點距離目標函數的中間參數的初始值的步驟，包括：

根據以下公式，計算各個類別的中心點：

其中，c_j表示類別j的中心點，x_i表示利用所述中間深度學習模型計算的所述訓練樣本集中第i個樣本的特征向量，y_i表示第i個樣本的類別標簽，N表示所述訓練樣本集中樣本的數量，n_j表示在所述訓練樣本集中類別j所包含的樣本的數量，σ(y_i,j)是類別指示函數，且

根據以下公式，計算每一類別中的各個樣本與該類別的中心點的偏差和：

其中，β_j表示類別j中各個樣本與該類別的中心點的偏差和，表示第i個樣本所屬類別的中心點；

根據以下公式，計算每一類別中的各個樣本與該類別的中心點的距離的平方和：

其中，δ_j表示類別j中各個樣本與該類別的中心點的距離的平方和。

3.根據權利要求2所述的方法，其特征在于，所述根據當前批次數據中各個樣本的特征向量，更新所述中間參數的參數值的步驟，包括：

根據以下公式，更新各個類別的中心點：

其中，c_j、分別表示更新前、后的類別j的中心點，表示利用當前目標深度學習模型計算的所述訓練樣本集中第i個樣本的特征向量，p表示所述當前批次數據中的樣本；

根據以下公式，更新每一類別中的各個樣本與該類別的中心點的偏差和：

其中，β_j、分別表示更新前、后的類別j中的各個樣本與該類別的中心點的偏差和，分別表示更新前、后第i個樣本所屬類別的中心點；

根據以下公式，更新每一類別中的各個樣本與該類別的中心點的距離的平方和：

其中，δ_j、分別表示更新前、后的類別j中的各個樣本與該類別的中心點的距離的平方和，表示第i個樣本所屬類別的中心點的偏移量，且Δ^Tc_j表示Δc_j的轉置。

4.根據權利要求1所述的方法，其特征在于，所述中心點距離目標函數為：

其中，K表示所述訓練樣本集中樣本的類別數量，δ_j表示類別j中各個樣本與該類別的中心點的距離的平方和。