[發明專利]模型訓練方法、裝置及電子設備

在審

• 申請號: 202110281160.8
• 申請日: 2021-03-16
• 公開（公告）號: CN113011490A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 李健;殷碩;葉超;宋斌斌;何洋;丁斌;嵇智;鄧濤;張文;國智
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/68;G06N20/00;G06Q30/02
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 黃燦;劉念

1.一種模型訓練方法，包括：

獲取多個待訓練模型，所述多個待訓練模型包括結構不同的第一待訓練模型和第二待訓練模型；

獲取所述第二待訓練模型輸出的第一目標預估信息，所述第一目標預估信息為所述第二待訓練模型輸出的與所述第一待訓練模型輸入的特征信息相關的預估信息；

將所述第一目標預估信息作為所述第一待訓練模型對應的第一標簽信息，對所述第一待訓練模型進行訓練，以更新所述第一待訓練模型的參數。

2.根據權利要求1所述的方法，其中，所述將所述第一目標預估信息作為所述第一待訓練模型對應的第一標簽信息，對所述第一待訓練模型進行訓練，以更新所述第一待訓練模型的參數，包括：

獲取所述第一待訓練模型輸出的第一預估信息；

確定所述第一標簽信息與所述第一預估信息的第一差異信息；

基于所述第一差異信息，更新所述第一待訓練模型的參數。

3.根據權利要求2所述的方法，所述基于所述第一差異信息，更新所述第一待訓練模型的參數之前，所述方法還包括：

獲取所述第一待訓練模型對應的第二標簽信息；

確定所述第二標簽信息與所述第一預估信息的第二差異信息；

所述基于所述第一差異信息，更新所述第一待訓練模型的參數，包括：

基于所述第一差異信息和第二差異信息，更新所述第一待訓練模型的參數。

4.根據權利要求1所述的方法，其中，所述多個待訓練模型還包括第三待訓練模型，所述第三待訓練模型輸出的預估信息的維度大于或等于所述第二待訓練模型輸出的預估信息的維度；

所述獲取所述第二待訓練模型輸出的第一目標預估信息，包括：

獲取所述第三待訓練模型輸出的第二目標預估信息，所述第二目標預估信息為所述第三待訓練模型輸出的與所述第二待訓練模型輸入的特征信息相關的預估信息；

將所述第二目標預估信息作為所述第二待訓練模型對應的第三標簽信息，對所述第二待訓練模型進行訓練，以更新所述第二待訓練模型的參數；

基于更新的所述第二待訓練模型的參數，確定所述第一目標預估信息。

5.根據權利要求1所述的方法，其中，所述第一待訓練模型輸出的預估信息的維度等于所述第二待訓練模型輸出的預估信息的維度；

所述將所述第一目標預估信息作為所述第一待訓練模型對應的第一標簽信息，對所述第一待訓練模型進行訓練，以更新所述第一待訓練模型的參數之后，所述方法還包括：

基于更新的所述第一待訓練模型的參數，確定所述第一待訓練模型輸出的第二預估信息；

將所述第二預估信息作為所述第二待訓練模型對應的第四標簽信息，對所述第二待訓練模型進行訓練，以更新所述第二待訓練模型的參數。

6.一種模型訓練裝置，包括：

第一獲取模塊，用于獲取多個待訓練模型，所述多個待訓練模型包括結構不同的第一待訓練模型和第二待訓練模型；

第二獲取模塊，用于獲取所述第二待訓練模型輸出的第一目標預估信息，所述第一目標預估信息為所述第二待訓練模型輸出的與所述第一待訓練模型輸入的特征信息相關的預估信息；

第一訓練模塊，用于將所述第一目標預估信息作為所述第一待訓練模型對應的第一標簽信息，對所述第一待訓練模型進行訓練，以更新所述第一待訓練模型的參數。

7.根據權利要求6所述的裝置，其中，所述第一訓練模塊包括：

第一獲取單元，用于獲取所述第一待訓練模型輸出的第一預估信息；

第一確定單元，用于確定所述第一標簽信息與所述第一預估信息的第一差異信息；

更新單元，用于基于所述第一差異信息，更新所述第一待訓練模型的參數。

8.根據權利要求7所述的裝置，其中，所述裝置還包括：

第三獲取模塊，用于獲取所述第一待訓練模型對應的第二標簽信息；

第一確定模塊，用于確定所述第二標簽信息與所述第一預估信息的第二差異信息；

所述更新單元，具體用于基于所述第一差異信息和第二差異信息，更新所述第一待訓練模型的參數。