[發明專利]一種模型訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211064160.3
• 申請日: 2022-09-01
• 公開（公告）號: CN115359321A
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 牟波
• 申請（專利權）人: 成都知道創宇信息技術有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V20/62;G06V30/19;G06V40/16
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 杜楊

1.一種模型訓練方法，其特征在于，所述方法包括：

確定教師模型和學生模型；

確定初始訓練樣本數據，其中，所述初始訓練樣本數據為訓練所述教師模型所使用的訓練樣本數據；

將所述教師模型中的部分第一模塊替換為與所述學生模型中對應的第二模塊，得到更新后的教師模型，其中，所述教師模型包括多個第一模塊，所述學生模型包括多個第二模塊；

基于所述初始訓練樣本數據對所述更新后的教師模型進行訓練，得到新的教師模型；

返回執行所述將所述教師模型中的部分第一模塊替換為與所述學生模型中對應的第二模塊，得到更新后的教師模型至所述基于所述初始訓練樣本數據對所述更新后的教師模型進行訓練的步驟，直到最新得到的新的教師模型中的第一模塊均被所述學生模型中的第二模塊替換，得到訓練好的目標模型，其中，所述目標模型中的模塊為所述學生模型中的第二模塊。

2.根據權利要求1所述的方法，其特征在于，所述將所述教師模型中的部分第一模塊替換為與所述學生模型中對應的第二模塊，得到更新后的教師模型的步驟，包括：

基于伯努利分布方式，控制將所述教師模型中的第一模塊替換為與所述學生模型中對應的第二模塊的替換概率；

基于所述替換概率，將所述教師模型中的部分第一模塊替換為與所述學生模型中對應的第二模塊，得到更新后的教師模型。

3.根據權利要求2所述的方法，其特征在于，所述伯努利分布方式滿足以下公式：

p_d＝min(1,θ(t))＝min(1,kt＝b)；

其中，b是初始替換率，k是大于0的系數，t是替換次數。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將待檢測數據輸入至所述目標模型，得到預測數據；

將所述預測數據進行清洗，得到第一訓練數據；

基于所述第一訓練數據對所述目標模型進行訓練。

5.根據權利要求1所述的方法，其特征在于，所述基于所述初始訓練樣本數據對所述更新后的教師模型進行訓練，得到新的教師模型的步驟，包括：

基于交叉熵損失函數，確定所述初始訓練樣本數據的真實標簽與預測標簽的損失；

基于所述損失對所述更新后的教師模型的參數進行調整，以獲得新的教師模型；

返回執行所述基于交叉熵損失函數，確定所述初始訓練樣本數據的真實標簽與預測標簽的損失至所述基于所述損失對所述更新后的教師模型的參數進行調整，以獲得新的教師模型的步驟，直至達到預設訓練次數，得到新的教師模型。

6.根據權利要求5所述的方法，其特征在于，所述交叉熵損失函數滿足以下公式：

L＝-∑_j∈|X|∑_c∈C[[z_j＝c]·logP(z_j＝c∣x_j)]；

其中x_j∈X為第j個初始訓練樣本，X為初始訓練樣本集合，z_j為初始訓練樣本的真實標簽，c為初始樣本的類標簽，C為初始訓練樣本集合的類標簽集合，P為初始訓練樣本的真實標簽與預測標簽的概率差值。

7.根據權利要求4所述的方法，其特征在于，所述將所述預測數據進行清洗，得到第一訓練數據的步驟，包括：

確定所述預測數據的置信度值；

將置信度小于閾值的第一預測數據進行人工審核；

接收人工審核后的第一預測數據；

將人工審核后的所述第一預測數據，作為第一訓練數據。