[發明專利]一種數據處理的方法和裝置

在審

• 申請號: 202010791064.3
• 申請日: 2020-08-07
• 公開（公告）號: CN112016685A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 沈煜;劉蘭個川
• 申請（專利權）人: 廣州小鵬車聯網科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 趙娟

本發明實施例提供了一種數據處理的方法和裝置，所述方法包括：在對所述不確定性預測模型訓練的過程中，確定針對所述不確定性預測模型的反向傳播梯度信息；其中，針對所述不確定性預測模型的反向傳播梯度信息與所述特征提取和回歸模型相分離；根據針對所述不確定性預測模型的反向傳播梯度信息，對所述不確定性預測模型進行訓練。通過本發明實施例，實現了在訓練不確定性預測模型時，將其反向傳播梯度與特征提取和回歸模型的反向傳播梯度分離，避免了不確定性預測模型干擾模型本來的性能，能夠在不影響原有模型性能的情況下輸出預測的不確定性數值。

技術領域

本發明涉及數據處理領域，特別是涉及一種數據處理的方法和裝置。

背景技術

目前，深度學習模型的性能通常是數據驅動模式，在模型訓練數據的過程中出現數據不平衡的情況時，模型在數量較少的邊緣案例數據類型上無法表現出較好的性能。

為了解決上述問題，通常是采用在模型訓練數據中加入更多的少數群體數據的方法，但該方法需要人工對少數群體數據進行分析與篩選，耗時耗力，無法高效并準確的針對少數群體數據進行定向采集。

發明內容

鑒于上述問題，提出了以便提供克服上述問題或者至少部分地解決上述問題的一種數據處理的方法和裝置，包括：

一種數據處理的方法，涉及特征提取和回歸模型和與所述特征提取和回歸模型相關聯的不確定性預測模型，所述方法包括：

在對所述不確定性預測模型訓練的過程中，確定針對所述不確定性預測模型的反向傳播梯度信息；其中，針對所述不確定性預測模型的反向傳播梯度信息與所述特征提取和回歸模型相分離；

根據針對所述不確定性預測模型的反向傳播梯度信息，對所述不確定性預測模型進行訓練。

可選地，所述在對所述不確定性預測模型訓練的過程中，確定針對所述不確定性預測模型的反向傳播梯度信息，包括：

將從樣本數據提取的特征輸入所述不確定性預測模型，得到所述不確定性預測模型的樣本不確定性預測結果；

根據所述樣本不確定性預測結果，確定樣本不確定性預測損失值；

根據所述樣本不確定性預測損失值，確定針對所述不確定性預測模型的反向傳播梯度信息。

可選地，所述根據所述樣本不確定性預測結果，確定樣本不確定性預測損失值，包括：

根據樣本不確定性預測基準真相和所述樣本不確定性預測結果，確定樣本不確定性預測損失值。

可選地，還包括：

將從樣本數據提取的特征輸入所述特征提取和回歸模型，得到所述特征提取和回歸模型的樣本預測結果；

確定所述樣本數據對應的樣本預測基準真相；

根據所述樣本預測基準真相和所述樣本預測結果，確定樣本預測損失值，并將所述樣本預測損失值作為樣本不確定性預測基準真相。

可選地，還包括：

根據所述樣本預測損失值，確定針對所述特征提取和回歸模型的反向傳播梯度信息，以根據針對所述特征提取和回歸模型的反向傳播梯度信息，對所述特征提取和回歸模型進行訓練。

一種數據處理的方法，涉及特征提取和回歸模型和與所述特征提取和回歸模型相關聯的不確定性預測模型，所述方法包括：

在對所述不確定性預測模型校準的過程中，根據邊緣案例百分位閾值，對預測偏差和所述不確定性預測模型的校準不確定性預測結果進行二分類；

確定在所述邊緣案例百分位閾值下的最佳不確定性預測閾值，以完成對所述不確定性預測模型的校準。

可選地，還包括：