[發明專利]一種數據處理方法及裝置、存儲介質

在審

• 申請號: 201910754310.5
• 申請日: 2019-08-15
• 公開（公告）號: CN112395273A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 黃剛
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06K9/62
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 王姍姍;張穎玲

本發明實施例公開了一種數據處理方法及裝置、存儲介質，該方法包括：利用預設特征選擇算法，構建樣本特征數據的決策樹，得到至少兩棵決策樹，至少兩棵決策樹包括樣本特征數據對應的初始特征集合和初始特征集合中每個特征在至少兩棵決策樹中每棵決策樹的構建信息；根據至少兩個構建信息中每個構建信息的不確定性指數和分裂次數，計算每個特征的全局重要度，從而得到初始特征集合對應的全局重要度集合；根據全局重要度集合，從初始特征集合中選擇滿足重要度條件的目標特征集合；當獲取到待處理數據時，根據目標特征集合對待處理數據進行特征數據的轉換處理。本發明實施例提供的數據處理方法提升了對待處理數據的預測處理效率和預測處理效果。

技術領域

本發明涉及數據挖掘領域中的數據處理技術，尤其涉及一種數據處理方法及裝置、存儲介質。

背景技術

特征選擇，指從初始特征集合中選擇最有效特征以降低數據維度的過程，即特征選擇是從初始特征集合中選擇出目標特征集合的過程，并且，該目標特征集合作為初始特征集合的子集合，能夠對數據進行有效的描述；通過特征選擇，可以實現從高維的數據對應的初始特征集合中提取出對研究工作有價值的特征，來輔助研究者更好地理解研究對象。

目前，特征選擇的方法主要有三類：Filter方法、Wrapper方法和Embedded方法；而對于Embedded方法，常用的方法主要包括正則化和決策樹。然而，在通過決策樹實現特征選擇時，通常采用單棵決策樹進行；由于單棵決策樹是高偏差的，穩定性低，選擇出的目標特征集合有效性低，因此，在根據目標特征集合對待處理數據進行預測處理時，處理效率低，處理效果差。

發明內容

為解決上述技術問題，本發明實施例期望提供一種數據處理方法及裝置、存儲介質，能夠提升對待處理數據的預測處理效率和預測處理效果。

本發明的技術方案是這樣實現的：

第一方面，本發明實施例提供了一種數據處理方法，所述方法包括

當根據預設樣本數據獲取到樣本特征數據時，利用預設特征選擇算法，構建所述樣本特征數據的決策樹，得到至少兩棵決策樹，所述至少兩棵決策樹包括所述樣本特征數據對應的初始特征集合和所述初始特征集合中每個特征在所述至少兩棵決策樹中每棵決策樹的構建信息；

根據至少兩個所述構建信息中每個所述構建信息的不確定性指數和分裂次數，計算所述每個特征的全局重要度，從而得到所述初始特征集合對應的全局重要度集合；

根據所述全局重要度集合，從所述初始特征集合中選擇滿足重要度條件的目標特征集合；

當獲取到待處理數據時，根據所述目標特征集合對所述待處理數據進行特征數據的轉換處理，以根據轉換處理后的待處理數據進行預測處理。

在上述方案中，所述利用預設特征選擇算法，構建所述樣本特征數據的決策樹，得到至少兩棵決策樹之前，所述方法還包括：

確定基學習器；

相應地，所述利用預設特征選擇算法，構建所述樣本特征數據的決策樹，得到至少兩棵決策樹，包括：

根據所述預設特征選擇算法，利用所述基學習器對所述樣本特征數據進行迭代構建決策樹，得到所述至少兩棵決策樹。

在上述方案中，所述根據至少兩個所述構建信息中每個所述構建信息的不確定性指數和分裂次數，計算所述每個特征的全局重要度，包括：

根據至少兩個所述構建信息中每個所述構建信息的所述不確定性指數，計算所述每個特征在所述至少兩棵決策樹的不確定性指數均值；

根據至少兩個所述構建信息中每個所述構建信息的所述分裂次數，計算所述每個特征在所述至少兩棵決策樹的分裂次數總和；

根據所述不確定性指數均值和所述分裂次數總和，得到所述每個特征的所述全局重要度。