[發明專利]一種集成模型的自適應多樣性增強訓練方法及裝置

在審

• 申請號: 201910247718.3
• 申請日: 2019-03-29
• 公開（公告）號: CN110046694A
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 朱軍;龐天宇;許堃;杜超;陳寧
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王慶龍;周永君

1.一種集成模型的自適應多樣性增強訓練方法，其特征在于，包括：

將待訓練的集成模型作為目標集成模型，根據所述目標集成模型中各個子模型的輸出獲得目標正則項，根據所述目標集成模型中所有子模型各自對應的交叉熵損失函數和所述目標正則項構造所述目標集成模型對應的目標函數；

對于所述目標集成模型中的任意一個子模型，根據預設訓練集對所述子模型進行迭代訓練，對于任意一個當前迭代過程，基于梯度下降算法根據所述子模型在上一次迭代過程中的網絡參數和所述目標集成模型對應的目標函數更新獲得所述子模型在當前迭代過程中的網絡參數；

若所述子模型在當前迭代過程中的網絡參數與所述子模型在上一次迭代過程中的網絡參數的差值不大于預設閾值，則所述子模型為收斂狀態，當且僅當所述目標集成模型中的所有子模型均為收斂狀態時，確定所述目標集成模型訓練完成。

2.根據權利要求1所述的方法，其特征在于，根據所述目標集成模型中各個子模型的輸出獲得目標正則項，具體為：

根據所述目標集成模型中各個子模型的輸出獲得目標信息熵；

根據所述目標集成模型中各個子模型的非最大輸出獲得目標度量；

根據所述目標信息熵和所述目標度量獲得所述目標正則項。

3.根據權利要求2所述的方法，其特征在于，根據所述目標集成模型中各個子模型的輸出獲得目標信息熵，具體為：

計算所述目標集成模型中所有子模型的輸出的均值，作為目標輸出；

獲取所述目標輸出的香農信息熵，作為所述目標信息熵。

4.根據權利要求2所述的方法，其特征在于，根據所述目標集成模型中各個子模型的非最大輸出獲得目標度量，具體為：

將所述目標集成模型中所有子模型的非最大輸出組成非最大輸出矩陣；

獲取所述非最大輸出矩陣的置換矩陣，將所述非最大輸出矩陣和所述置換矩陣組成的行列式作為所述目標度量。

5.根據權利要求2所述的方法，其特征在于，根據所述目標信息熵和所述目標度量獲得所述目標正則項，具體計算公式為：

其中，ADP_α,β(x,y)為所述目標正則項；為所述目標信息熵；為所述目標度量；α、β為不小于零的常數。

6.根據權利要求1所述的方法，其特征在于，根據所述目標集成模型中所有子模型各自對應的交叉熵損失函數和所述目標正則項構造所述目標集成模型對應的目標函數，具體計算公式為：

其中，為所述目標集成模型對應的目標函數；為第k個子模型對應的交叉熵損失函數；K為所述目標集成模型中所有子模型的總數量；ADP_α,β(x,y)為所述目標正則項；(x_i,y_i)為所述預設訓練集中的第i個訓練樣本；D_m為從所述預設訓練集中隨機選取的m個訓練樣本組成的集合。

7.根據權利要求1所述的方法，其特征在于，基于梯度下降算法根據所述子模型在上一次迭代過程中的網絡參數和所述目標集成模型對應的目標函數更新獲得所述子模型在當前迭代過程中的網絡參數，具體計算公式為：

其中，為第k′個子模型在第c次迭代過程中的網絡參數；為第k′個子模型在第c+1次迭代過程中的網絡參數；ε_k′為第k′個子模型的學習速率；為所述目標集成模型對應的目標函數；K為所述目標集成模型中所有子模型的總數量。