[發明專利]數據處理的方法及裝置

有效

• 申請號: 201710141560.2
• 申請日: 2017-03-10
• 公開（公告）號: CN106778048B
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 徐驕
• 申請（專利權）人: 廣州視源電子科技股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆;胡彬

1.一種數據處理的方法，其特征在于，包括：

獲取數據樣本，所述數據樣本包括包含缺失值的數據樣本和未包含缺失值的數據樣本；

根據所述數據樣本中與所述缺失值對應的屬性的非缺失率確定與所述缺失值相對應的最小支持閾值和最小置信閾值；

從所述未包含缺失值的數據樣本中選取支持度信息大于或等于最小支持閾值的屬性項組成候選頻繁項集，所述屬性項包含與所述缺失值對應的屬性的屬性值；

從所述候選頻繁項集中選取置信度信息大于或等于最小置信閾值的屬性項組成與所述缺失值對應的頻繁項集；

從所述頻繁項集中選擇填充屬性項；

根據所述填充屬性項中與所述包含缺失值的數據樣本中的缺失值的對應屬性的屬性值確定填充值，并根據所述填充值更新所述包含缺失值的數據樣本。

2.根據權利要求1所述的方法，其特征在于，所述根據所述數據樣本中與所述缺失值對應的屬性的非缺失率確定與所述缺失值相對應的最小支持閾值和最小置信閾值，包括：

如果Rnm≥90％，則MinSup＝1-Rnm；

如果60％≤Rnm＜90％，則MinSup＝1-0.9×Rnm；

如果Rnm＜60％，則MinSup＝Rnm；

其中，Rnm為所述數據樣本中與所述缺失值對應的屬性的非缺失率，MinSup為與所述缺失值相對應的最小支持閾值。

3.根據權利要求2所述的方法，其特征在于，所述根據所述數據樣本中與所述缺失值對應的屬性的非缺失率確定與所述缺失值相對應的最小支持閾值和最小置信閾值，還包括：

如果Rnm≥90％，則MinCon＝0.92；

如果80％≤Rnm＜90％，則MinCon＝0.9×Rnm+0.1；

如果70％≤Rnm＜80％，則MinCon＝0.95×Rnm+0.1；

如果Rnm＜70％，則MinCon＝0.75；

其中，Rnm為所述數據樣本中與所述缺失值對應的屬性的非缺失率，MinCon為與所述缺失值相對應的最小置信閾值。

4.根據權利要求1所述的方法，其特征在于，所述從所述頻繁項集中選擇填充屬性項，具體為：

根據所述頻繁項集中各屬性項的支持度信息和/或對應的有效屬性值個數，確定與所述缺失值對應的填充屬性項，其中，所述有效屬性值與所述包含缺失值的數據樣本的屬性值相同。

5.根據權利要求4所述的方法，其特征在于，所述從所述頻繁項集中選擇填充屬性項，包括：

如果屬性項對應的屬性包含缺失值對應屬性的相關屬性，則根據所述相關屬性的初始化貢獻度確定所述相關屬性的權重值，所述初始化貢獻度為大于1的數值；

根據所述頻繁項集中各屬性項對應的有效屬性值個數、所述相關屬性的權重值以及所述頻繁項集中各屬性項的支持度信息中的至少一項確定與所述缺失值對應的填充屬性項。

6.一種數據處理的裝置，其特征在于，包括：

數據樣本獲取模塊，用于獲取數據樣本，所述數據樣本包括包含缺失值的數據樣本和未包含缺失值的數據樣本；

頻繁項集確定模塊，用于根據所述未包含缺失值的數據樣本的各屬性項的屬性信息確定所述未包含缺失值的數據樣本的各屬性項中與所述缺失值對應的頻繁項集；

填充屬性項選擇模塊，用于從所述頻繁項集中選擇填充屬性項；

填充值確定模塊，用于根據所述填充屬性項中與所述包含缺失值的數據樣本中的缺失值的對應屬性的屬性值確定填充值，并根據所述填充值更新所述包含缺失值的數據樣本；

其中，所述屬性信息包括屬性項的支持度信息和置信度信息，所述頻繁項集確定模塊包括：

選擇條件確定單元，用于根據所述數據樣本中與所述缺失值對應的屬性的非缺失率確定與所述缺失值相對應的最小支持閾值和最小置信閾值；

候選頻繁項集確定單元，用于從所述未包含缺失值的數據樣本中選取支持度信息大于或等于最小支持閾值的屬性項組成候選頻繁項集，所述屬性項包含與所述缺失值對應的屬性的屬性值；

頻繁項集確定單元，用于從所述候選頻繁項集中選取置信度信息大于或等于最小置信閾值的屬性項組成與所述缺失值對應的頻繁項集。