[發明專利]一種數據流決策樹分類中的缺失值處理方法

在審

• 申請號: 201410295212.7
• 申請日: 2014-06-25
• 公開（公告）號: CN104035779A
• 公開（公告）日: 2014-09-10
• 發明（設計）人: 呂品;侯旭珊
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06F9/44
• 分類號: G06F9/44
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 成金玉;孟卜娟

1.一種數據流決策樹分類中的缺失值處理方法，其特征在實現步驟如下：

步驟1：讀取數據流中的數據樣本，并使用固定容量的滑動窗口W保存最新到達的數據樣本；

步驟2：當前數據樣本中的屬性X_i存在缺失值時，建立或更新屬性X_i對應的缺失處理器，若屬性X_i的缺失處理器已存在，則跳至步驟4更新缺失處理器，否則進入步驟3建立缺失處理器；

步驟3：計算滑動窗口W中同類樣本關于屬性X_i的標準差σ(X_i)，若σ(X_i)不超過閾值σ_m，則選擇使用眾數或平均值代替缺失值，否則建立子分類器來預測缺失值，根據此方法建立缺失處理器并跳至步驟5；

步驟4：計算缺失處理器的加權總錯誤率E，若E超過閾值β，則選擇權重最大且錯誤率e_i＞β^*的缺失處理器進行更新，直到E低于閾值β；

步驟5：利用缺失處理器補充屬性X_i的缺失值，得到完整的數據樣本；

步驟6：依據Hoeffding決策樹分類方法訓練完整的數據樣本，動態地構造決策樹模型，并根據決策樹分裂葉子節點時的屬性度量值為每個屬性X_i更新權重；

步驟7：返回數據流決策樹分類結果。

2.根據權利要求1所述一種數據流決策樹分類中的缺失值處理方法，其特征在于：所述步驟3中計算滑動窗口W中同類樣本關于屬性X_i的標準差σ(X_i)的方法為：

對于s個數據樣本，數據屬性X＝{X₁,X₂,...,X_n}，令x_ij表示屬性X_i在第j個樣本中的屬性值，當屬性X_i為離散屬性時，樣本標準差σ(X_i)為：

σ(Xi)=1s-1Σj=1sdiff(xij,Mi),]]>

diff(xij,Mi)=1(xij≠Mi)0(xij=Mi),]]>

其中，M_i表示屬性X_i在計算樣本中屬性值的眾數；當屬性X_i為連續屬性時，樣本標準差σ(X_i)為：

σ(Xi)=1s-1Σj=1s(xij-μi)2,]]>

μi=Σj=1sxij,]]>

其中，μ_i表示屬性X_i在計算樣本中屬性值的平均值。