[發明專利]網絡模型的訓練方法、信息推送方法及相關裝置

有效

• 申請號: 202011105734.8
• 申請日: 2020-10-15
• 公開（公告）號: CN112434213B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 楊敏;原發杰;劉奪;李成明;姜青山
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/044;G06N3/0464;G06N3/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

1.一種網絡模型的訓練方法，其特征在于，所述方法包括：

采用第一訓練數據對網絡模型進行訓練，得到第一輸出信息；

對所述第一訓練數據添加隨機噪聲，得到第二訓練數據，采用所述第二訓練數據對所述網絡模型進行訓練，得到第二輸出信息；

確定所述第一輸出信息的第一分布以及所述第二輸出信息的第二分布；

計算所述第一分布與所述第二分布的相似度，得到第一相似度；

利用所述第一相似度進行梯度更新計算，以得到第一擾動值；其中，在利用所述第一相似度進行梯度更新計算時，所述網絡模型的網絡參數不進行更新；

對所述第一擾動值進行求導得到第二擾動值，并利用第一控制數值對所述第二擾動值進行加權，得到第三擾動值；

將所述第三擾動值確定為擾動信息；

對所述第一訓練數據或所述第二訓練數據添加所述擾動信息，得到第三訓練數據，采用所述第三訓練數據對所述網絡模型進行訓練，得到第三輸出信息；

根據所述第三輸出信息與預設輸出信息之間的差異，調整所述網絡模型的參數。

2.根據權利要求1所述的方法，其特征在于，

所述采用第一訓練數據對網絡模型進行訓練，得到第一輸出信息，包括：

從訓練數據集中獲取預設數量的目標訓練數據作為第一訓練數據；

將預設數量的所述目標訓練數據進行序列化處理，以形成第一向量矩陣；

采用所述第一向量矩陣對所述網絡模型進行訓練，得到第一輸出信息；其中，輸出信息為概率矩陣，所述概率矩陣用于表示所述網絡模型基于所述目標訓練數據的預測信息。

3.根據權利要求2所述的方法，其特征在于，

所述對所述第一訓練數據添加隨機噪聲，得到第二訓練數據，采用所述第二訓練數據對所述網絡模型進行訓練，得到第二輸出信息，包括：

對所述第一向量矩陣中的每個元素添加隨機噪聲，得到第二向量矩陣，將所述第二向量矩陣作為第二訓練數據；

采用所述第二向量矩陣對所述網絡模型進行訓練，得到第二輸出信息；其中，輸出信息為概率矩陣，所述概率矩陣用于表示所述網絡模型基于所述第二向量矩陣的預測信息。

4.根據權利要求3所述的方法，其特征在于，

所述對所述第一訓練數據或所述第二訓練數據添加所述擾動信息，得到第三訓練數據，采用所述第三訓練數據對所述網絡模型進行訓練，得到第三輸出信息，包括：

對所述第一向量矩陣或所述第二向量矩陣添加所述擾動信息，得到第三向量矩陣，將所述第三向量矩陣作為第三訓練數據；

采用所述第三向量矩陣對所述網絡模型進行訓練，得到第三輸出信息；其中，輸出信息為概率矩陣，所述概率矩陣用于表示所述網絡模型基于所述第三向量矩陣的預測信息。

5.根據權利要求4所述的方法，其特征在于，

所述對所述第一向量矩陣或所述第二向量矩陣添加所述擾動信息，得到第三向量矩陣，將所述第三向量矩陣作為第三訓練數據，包括：

對所述第一向量矩陣或所述第二向量矩陣添加所述擾動信息，得到第三向量矩陣；

若所述第三向量矩陣與所述第一向量矩陣或所述第二向量矩陣的相似度滿足約束條件，則確定所述第三向量矩陣為所述第三訓練數據。

6.根據權利要求1所述的方法，其特征在于，

所述根據所述第三輸出信息與預設輸出信息之間的差異，調整所述網絡模型的參數，包括：

利用第一輸出信息與預設輸出信息之間的差異，得到第一損失值，并利用第二控制數值對所述第一損失值進行加權，得到第二損失值；

利用第三輸出信息與預設輸出信息之間的差異，得到第三損失值，并利用第三控制數值對所述第二損失值進行加權，得到第四損失值；

利用所述第二損失值和所述第四損失值，調整所述網絡模型的網絡參數。