[發(fā)明專利]一種實現(xiàn)模型訓練的方法、計算機存儲介質及終端

在審

• 申請?zhí)枺?/td>: 202310267384.2
• 申請日: 2023-03-14
• 公開（公告）號: CN116484943A
• 公開（公告）日: 2023-07-25
• 發(fā)明（設計）人: 董穎;卞超軼
• 申請（專利權）人: 北京啟明星辰信息安全技術有限公司;啟明星辰信息技術集團股份有限公司;北京網(wǎng)御星云信息技術有限公司
• 主分類號: G06N3/096
• 分類號: G06N3/096;G06N3/091;G06N3/045;G06N3/047;G06F21/57;H04L9/40
• 代理公司: 北京安信方達知識產(chǎn)權代理有限公司 11262
• 代理人: 張建秀;曲鵬

1.一種實現(xiàn)模型訓練的方法，包括：

確定標記數(shù)據(jù)集和未標記數(shù)據(jù)集中包含的每一份數(shù)據(jù)的時間信息；

根據(jù)確定的時間信息，從標記數(shù)據(jù)集和未標記數(shù)據(jù)集中選出包含第一預設組數(shù)據(jù)的第一數(shù)據(jù)；

將預先訓練獲得的第一深度學習模型通過選出的第一數(shù)據(jù)進行訓練，獲得第二深度學習模型；

其中，所述第一數(shù)據(jù)為根據(jù)時間信息確定的早于預設時刻的數(shù)據(jù)；所述第一數(shù)據(jù)中的每一組數(shù)據(jù)包含所述標記數(shù)據(jù)集中的一份數(shù)據(jù)和所述未標記數(shù)據(jù)集中的一份數(shù)據(jù)。

2.根據(jù)權利要求1所述的方法，其特征在于，所述第一深度學習模型，包括通過以下方式訓練獲得的模型：

從所述標記數(shù)據(jù)集和所述未標記數(shù)據(jù)集中除所述第一數(shù)據(jù)以外的其他數(shù)據(jù)中，選出第二預設組數(shù)據(jù)作為第二數(shù)據(jù)；

根據(jù)選出的所述第二數(shù)據(jù)，迭代訓練獲得所述第一深度學習模型；

其中，所述迭代訓練次數(shù)等于第二數(shù)據(jù)中的包含的數(shù)據(jù)組數(shù)；所述第二數(shù)據(jù)中的每一組數(shù)據(jù)包含所述標記數(shù)據(jù)集中的一份數(shù)據(jù)和所述未標記數(shù)據(jù)集中的一份數(shù)據(jù)。

3.根據(jù)權利要求1所述的方法，其特征在于，所述第一數(shù)據(jù)中包含的第一預設組數(shù)據(jù)中：

時間信息靠前的所述數(shù)據(jù)的組數(shù)大于或等于時間信息靠后的所述數(shù)據(jù)的組數(shù)。

4.根據(jù)權利要求1-3任一項所述的方法，其特征在于，所述將預先訓練獲得的第一深度學習模型通過選出的第一數(shù)據(jù)進行訓練，獲得第二深度學習模型，包括：

將所述第一深度學習模型通過所述第一數(shù)據(jù)，按照預先設定的第一損失函數(shù)進行訓練，獲得所述第二深度學習模型；

其中，每一次迭代訓練時，從所述第一數(shù)據(jù)中選出一組未被用于訓練的數(shù)據(jù)進行訓練。

5.根據(jù)權利要求4所述的方法，其特征在于，所述第一損失函數(shù)通過以下運算確定：

計算按照所述第一損失函數(shù)對所述第一深度學習模型進行第i次迭代訓練時，該第一深度學習模型在當前用于訓練的數(shù)據(jù)的組中已標記數(shù)據(jù)的預測結果，與所述當前用于訓練的數(shù)據(jù)的組中已標記數(shù)據(jù)的真實標簽的第一交叉熵；

計算按照所述第一損失函數(shù)對所述第一深度學習模型進行第i次迭代訓練時，該第一深度學習模型關于所述當前用于訓練的數(shù)據(jù)的組的第一預測類別概率分布，與在前一次迭代訓練該第一深度學習模型在所述當前用于訓練的數(shù)據(jù)的組上輸出的第二預測類別概率分布的第二交叉熵；

按照預先設定的第一加權系數(shù)對計算出的所述第一交叉熵和所述第二交叉熵進行加權求和，獲得所述第一損失函數(shù)；

其中，i為根據(jù)所述第一預設組數(shù)據(jù)執(zhí)行第一預設次訓練的訓練次數(shù)排序。

6.根據(jù)權利要求2所述的方法，其特征在于，所述第一數(shù)據(jù)中僅包含一組數(shù)據(jù)，所述將預先訓練獲得的第一深度學習模型通過選出的第一數(shù)據(jù)進行訓練，獲得第二深度學習模型，包括：

將所述第一深度學習模型通過所述第一數(shù)據(jù)，按照預先設定的第二損失函數(shù)進行訓練，獲得所述第二深度學習模型。

7.根據(jù)權利要求6所述的方法，其特征在于，所述第二損失函數(shù)通過以下運算確定：

計算按照所述第二損失函數(shù)對所述第一深度學習模型進行訓練，獲得所述第二深度學習模型時，該第一深度學習模型關于所述第一數(shù)據(jù)的數(shù)據(jù)組中已標記數(shù)據(jù)的預測結果，與所述第一數(shù)據(jù)的數(shù)據(jù)組中已標記數(shù)據(jù)的真實標簽的第三交叉熵；

計算按照所述第二損失函數(shù)對所述第一深度學習模型進行訓練，獲得所述第二深度學習模型時，該第二深度學習模型關于第一數(shù)據(jù)中已標記數(shù)據(jù)和未標記數(shù)據(jù)的第三預測類別概率分布，與第j次迭代訓練的所述第一深度學習模型關于所述第一數(shù)據(jù)中已標記數(shù)據(jù)和未標記數(shù)據(jù)的第四預測類別概率分布的第四交叉熵；

按照預先設定的第二加權系數(shù)對計算出的所述第三交叉熵和所有所述第四交叉熵進行加權求和，獲得所述第二損失函數(shù)；

其中，j為根據(jù)所述第一預設組數(shù)據(jù)執(zhí)行第一預設次訓練的訓練次數(shù)排序。