[發(fā)明專利]一種數(shù)據(jù)預處理方法、裝置、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 202110850843.0
• 申請日: 2021-07-27
• 公開（公告）號: CN113486596A
• 公開（公告）日: 2021-10-08
• 發(fā)明（設計）人: 鄒甜
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N20/00
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司 11227
• 代理人: 錢灣灣

1.一種數(shù)據(jù)預處理方法，其特征在于，所述方法包括：

獲取目標量以及原始數(shù)據(jù)所屬的多種數(shù)據(jù)類別；

將所述目標量以及所述多種數(shù)據(jù)類別，輸入至預先完成訓練的機器學習模型，得到所述機器學習模型輸出的每種數(shù)據(jù)類別的重要度量值，所述重要度量值用于衡量屬于所述數(shù)據(jù)類別的原始數(shù)據(jù)對于分析所述目標量的重要程度；

確定所述多種數(shù)據(jù)類別中的目標類別，所述目標類別的重要度量值不低于第一預設閾值，并且，屬于所述目標類別的原始數(shù)據(jù)用于分析所述目標量。

2.根據(jù)權利要求1所述的方法，其特征在于，所述方法還包括：

獲取目標樣本數(shù)據(jù)；

將所述目標樣本數(shù)據(jù)包括的樣本數(shù)據(jù)以及所述樣本數(shù)據(jù)所屬的數(shù)據(jù)類別輸入至所述機器學習模型；

根據(jù)所述機器學習模型輸出的所述目標樣本數(shù)據(jù)包括的數(shù)據(jù)類別對應的重要度量值，調整機器學習模型中的內部參數(shù)。

3.根據(jù)權利要求2所述的方法，其特征在于，所述獲取樣本數(shù)據(jù)，包括：

獲取初始樣本數(shù)據(jù)；

刪除所述初始樣本數(shù)據(jù)中的第一樣本數(shù)據(jù)，得到所述目標樣本數(shù)據(jù)，其中，所述第一樣本數(shù)據(jù)所屬的數(shù)據(jù)類別對應的重要度量值低于第二預設閾值，所述第二預設閾值小于所述第一預設閾值。

4.根據(jù)權利要求3所述的方法，其特征在于，所述刪除所述初始樣本數(shù)據(jù)中的第一樣本數(shù)據(jù)，得到所述目標樣本數(shù)據(jù)，包括：

刪除所述初始樣本數(shù)據(jù)中的第一樣本數(shù)據(jù)，得到第二樣本數(shù)據(jù)；

對所述第二樣本數(shù)據(jù)進行無放回隨機采樣，得到所述目標樣本數(shù)據(jù)。

5.根據(jù)權利要求1至4任一項所述的方法，其特征在于，所述機器學習模型通過XGBoost算法進行構建。

6.根據(jù)權利要求5所述的方法，其特征在于，所述機器學習模型輸出的數(shù)據(jù)類別的重要度量值通過以下特征重要性指標中的任意一種或者多種進行衡量：

權重、增益以及覆蓋率。

7.一種數(shù)據(jù)預處理裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取目標量以及原始數(shù)據(jù)所屬的多種數(shù)據(jù)類別；

輸入模塊，用于將所述目標量以及所述多種數(shù)據(jù)類別，輸入至預先完成訓練的機器學習模型，得到所述機器學習模型輸出的每種數(shù)據(jù)類別的重要度量值，所述重要度量值用于衡量屬于所述數(shù)據(jù)類別的原始數(shù)據(jù)對于分析所述目標量的重要程度；

確定模塊，用于確定所述多種數(shù)據(jù)類別中的目標類別，所述目標類別的重要度量值不低于第一預設閾值，并且，屬于所述目標類別的原始數(shù)據(jù)用于分析所述目標量。

8.根據(jù)權利要求7所述的裝置，其特征在于，所述裝置還包括：

第二獲取模塊，用于獲取目標樣本數(shù)據(jù)；

訓練模塊，用于將所述目標樣本數(shù)據(jù)包括的樣本數(shù)據(jù)以及所述樣本數(shù)據(jù)所屬的數(shù)據(jù)類別輸入至所述機器學習模型，并根據(jù)所述機器學習模型輸出的所述目標樣本數(shù)據(jù)包括的數(shù)據(jù)類別對應的重要度量值，調整機器學習模型中的內部參數(shù)。

9.一種計算設備，其特征在于，包括：處理器和存儲器；

所述存儲器，用于存儲指令或計算機程序；

所述處理器，用于執(zhí)行所述指令或計算機程序，執(zhí)行權利要求1-6任意一項所述的數(shù)據(jù)預處理方法。

10.一種計算機可讀存儲介質，其特征在于，包括指令或計算機程序，當其在計算機上運行時，使得計算機執(zhí)行以上權利要求1-6任意一項所述的數(shù)據(jù)預處理方法。