[發明專利]針對不平衡樣本數據的數據處理方法及裝置

在審

• 申請號: 202110332637.0
• 申請日: 2021-03-29
• 公開（公告）號: CN112966778A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 顧凌云;謝旻旗;段灣;孟軒;王震宇
• 申請（專利權）人: 上海冰鑒信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 成都頂峰專利事務所(普通合伙) 51224
• 代理人: 鄧江紅

1.一種針對不平衡樣本數據的數據處理方法，其特征在于，應用于電子設備，所述方法包括以下步驟：

獲取建模樣本集；其中，所述建模樣本集中包括多個原始樣本，每個原始樣本攜帶一個樣本標簽，所述樣本標簽為第一樣本標簽或第二樣本標簽；

對所述建模樣本進行切分，得到待處理樣本集和跨時間驗證樣本集；確定所述待處理樣本集中攜帶第一樣本標簽的第一目標樣本，根據所述第一目標樣本構造第二目標樣本，并將所述第一目標樣本和所述第二目標樣本進行整合得到采樣樣本集；

對所述采樣樣本集進行切分，得到訓練樣本集和測試樣本集；通過所述訓練樣本集進行建模得到第一預測模型，基于所述測試樣本集確定所述第一預測模型的第一模型性能分布；

通過所述采樣樣本集進行建模得到第二預測模型，基于所述采樣樣本集確定第二預測模型的第二模型性能分布；

根據所述第一模型性能分布、所述第二模型性能分布以及所述跨時間驗證樣本集確定所述采樣樣本集是否滿足設定條件。

2.根據權利要求1所述的方法，其特征在于，根據所述第一模型性能分布、所述第二模型性能分布以及所述跨時間驗證樣本集確定所述采樣樣本集是否滿足設定條件，包括：

判斷所述第一模型性能分布和所述第二模型性能分布是否滿足預設模型性能指標；

在所述第一模型性能分布和所述第二模型性能分布滿足所述預設模型性能指標時，基于所述跨時間驗證樣本集確定所述第一預測模型的第三模型性能分布以及所述第二預測模型的第四模型性能分布；

判斷所述第三模型性能分布和所述第四模型性能分布是否滿足預設模型性能指標；

在所述第三模型性能分布和所述第四模型性能分布滿足所述預設模型性能指標時，判定所述采樣樣本集滿足建模條件。

3.根據權利要求1所述的方法，其特征在于，根據所述第一目標樣本構造第二目標樣本，包括：

計算每個所述第一目標樣本的K個近鄰；其中，K為正整數；

從所述K個近鄰中挑選出N個近鄰樣本；其中，N為正整數；

對所述N個近鄰樣本進行隨機線性插值，得到多個第二目標樣本。

4.根據權利要求1所述的方法，其特征在于，通過所述采樣樣本集進行建模得到第二預測模型，基于所述采樣樣本集確定第二預測模型的第二模型性能分布，包括：

通過對所述采樣樣本集進行分層采樣，得到設定數量個互斥子集；

重復執行以下步驟直至得到設定數量個第二模型性能分布：將所述設定數量個互斥子集中的其中一個互斥子集作為測試子集，將所述設定數量個互斥子集中除所述測試子集之外的剩余互斥子集求并集以作為訓練子集；通過所述訓練子集進行建模得到第二預測模型，基于所述測試樣本子集確定所述第二預測模型的第二模型性能分布。

5.根據權利要求1所述的方法，其特征在于，對所述建模樣本進行切分，得到待處理樣本集和跨時間驗證樣本集，包括：

按照第一設定比例對所述建模樣本進行切分，得到待處理樣本集和跨時間驗證樣本集。

6.根據權利要求1所述的方法，其特征在于，對所述采樣樣本集進行切分，得到訓練樣本集和測試樣本集，包括：

按照第二設定比例對所述采樣樣本集進行切分，得到訓練樣本集和測試樣本集。