[發(fā)明專利]一種動態(tài)數(shù)據(jù)環(huán)境下的數(shù)據(jù)流概念漂移可視化方法

有效

• 申請?zhí)枺?/td>: 201310052088.7
• 申請日: 2013-02-18
• 公開（公告）號: CN103150470A
• 公開（公告）日: 2013-06-12
• 發(fā)明（設(shè)計）人: 馮林;姚遠;陳灃
• 申請（專利權(quán)）人: 大連理工大學
• 主分類號: G06F19/00
• 分類號: G06F19/00
• 代理公司: 大連星海專利事務(wù)所 21208
• 代理人: 徐淑東

1.一種動態(tài)數(shù)據(jù)環(huán)境下的數(shù)據(jù)流概念漂移可視化方法，具體包括以下步驟：

步驟1：動態(tài)數(shù)據(jù)流收集模塊（102）從海量實時數(shù)據(jù)流（101）中按照時間順序收集數(shù)據(jù)；

步驟2：數(shù)據(jù)流劃分模塊（103）讀取步驟1中的數(shù)據(jù)流數(shù)據(jù)，并根據(jù)數(shù)據(jù)流中數(shù)據(jù)到達的先后順序?qū)?shù)據(jù)流進行劃分；所述數(shù)據(jù)流劃分模塊（103）劃分得到的數(shù)據(jù)塊中，包含N條記錄；N是固定變量，由使用者提前設(shè)定；

步驟3：將使用數(shù)據(jù)流劃分模塊（103）劃分后得到靜態(tài)數(shù)據(jù)塊，輸入到kdq樹模塊（104）中構(gòu)建kdq樹；其中，所述kdq樹對應(yīng)的閾值使用基于KL散度的自助法計算給出或由使用者直接給定；

步驟4：將kdq樹模塊（104）所建立的kdq樹、kdq樹對應(yīng)的閾值放入概念池（106）中保存；

步驟5：概念檢測模塊（105）在數(shù)據(jù)流劃分模塊（103）得到一個新的數(shù)據(jù)塊，并檢測新數(shù)據(jù)塊是否是新的概念，概念檢測模塊（105）的檢測結(jié)果根據(jù)由原始數(shù)據(jù)塊、新數(shù)據(jù)塊的KL散度值與概念池（106）中保存的kdq樹對應(yīng)閾值的比較結(jié)果給出；在計算KL散度時需要對原始數(shù)據(jù)塊進行離散化，離散化的結(jié)果由數(shù)據(jù)塊通過kdq樹的結(jié)果給出；

步驟6：當數(shù)據(jù)流劃分模塊（103）獲取新的數(shù)據(jù)塊時，將此數(shù)據(jù)塊與概念池（106）中所保存的概念進行比較，如果找到相似的概念，則對概念統(tǒng)計模塊（107）進行更新；否則將此數(shù)據(jù)塊作為新的概念加入概念池（106）中；

步驟7：重復步驟1-6直至數(shù)據(jù)流結(jié)束；此時將概念統(tǒng)計模塊（107）中的統(tǒng)計信息進行匯總，計算出概念池（106）中每個概念的統(tǒng)計信息；

步驟8：將上述統(tǒng)計信息輸入到概念轉(zhuǎn)移圖模塊（108），利用貝葉斯公式構(gòu)建概念轉(zhuǎn)移圖，完成概念漂移可視化過程。

2.根據(jù)權(quán)利要求1所述的一種動態(tài)數(shù)據(jù)環(huán)境下的數(shù)據(jù)流分類方法，其特征在于，所述步驟3中建立kdq樹包括以下子步驟：

步驟3.1：首先選定數(shù)據(jù)塊中第一個屬性作為當前屬性，在當前維度中尋找中位數(shù)值v，對數(shù)據(jù)塊進行劃分，使得劃分后得到的兩個子集中的樣本數(shù)量基本相等，即當前屬性的數(shù)值大于v的數(shù)據(jù)以及當前屬性的數(shù)值小于或等于v的數(shù)據(jù)的數(shù)量基本相等；

步驟3.2：在上述所得到的子集中，在后繼屬性中尋找能夠滿足劃分條件的屬性，并選擇此屬性作為當前屬性，重復尋找中位數(shù)值的過程，繼續(xù)劃分數(shù)據(jù)子集；

步驟3.3：重復以上過程，直到滿足終止條件為止；

所述劃分條件為：當前維度數(shù)據(jù)的最大值與小值之差大于變量ε，且ε值由用戶指定；

所述終止條件為：當前數(shù)據(jù)塊的數(shù)據(jù)規(guī)模小于n_min，或者每一維度的最大最小值之差均小于ε，其中于n_min值由用戶提前指定。