[發(fā)明專利]一種動(dòng)態(tài)數(shù)據(jù)環(huán)境下的數(shù)據(jù)流概念漂移可視化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310052088.7
• 申請(qǐng)日: 2013-02-18
• 公開（公告）號(hào): CN103150470A
• 公開（公告）日: 2013-06-12
• 發(fā)明（設(shè)計(jì)）人: 馮林;姚遠(yuǎn);陳灃
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06F19/00
• 分類號(hào): G06F19/00
• 代理公司: 大連星海專利事務(wù)所 21208
• 代理人: 徐淑東

1.一種動(dòng)態(tài)數(shù)據(jù)環(huán)境下的數(shù)據(jù)流概念漂移可視化方法，具體包括以下步驟：

步驟1：動(dòng)態(tài)數(shù)據(jù)流收集模塊（102）從海量實(shí)時(shí)數(shù)據(jù)流（101）中按照時(shí)間順序收集數(shù)據(jù)；

步驟2：數(shù)據(jù)流劃分模塊（103）讀取步驟1中的數(shù)據(jù)流數(shù)據(jù)，并根據(jù)數(shù)據(jù)流中數(shù)據(jù)到達(dá)的先后順序?qū)?shù)據(jù)流進(jìn)行劃分；所述數(shù)據(jù)流劃分模塊（103）劃分得到的數(shù)據(jù)塊中，包含N條記錄；N是固定變量，由使用者提前設(shè)定；

步驟3：將使用數(shù)據(jù)流劃分模塊（103）劃分后得到靜態(tài)數(shù)據(jù)塊，輸入到kdq樹模塊（104）中構(gòu)建kdq樹；其中，所述kdq樹對(duì)應(yīng)的閾值使用基于KL散度的自助法計(jì)算給出或由使用者直接給定；

步驟4：將kdq樹模塊（104）所建立的kdq樹、kdq樹對(duì)應(yīng)的閾值放入概念池（106）中保存；

步驟5：概念檢測(cè)模塊（105）在數(shù)據(jù)流劃分模塊（103）得到一個(gè)新的數(shù)據(jù)塊，并檢測(cè)新數(shù)據(jù)塊是否是新的概念，概念檢測(cè)模塊（105）的檢測(cè)結(jié)果根據(jù)由原始數(shù)據(jù)塊、新數(shù)據(jù)塊的KL散度值與概念池（106）中保存的kdq樹對(duì)應(yīng)閾值的比較結(jié)果給出；在計(jì)算KL散度時(shí)需要對(duì)原始數(shù)據(jù)塊進(jìn)行離散化，離散化的結(jié)果由數(shù)據(jù)塊通過kdq樹的結(jié)果給出；

步驟6：當(dāng)數(shù)據(jù)流劃分模塊（103）獲取新的數(shù)據(jù)塊時(shí)，將此數(shù)據(jù)塊與概念池（106）中所保存的概念進(jìn)行比較，如果找到相似的概念，則對(duì)概念統(tǒng)計(jì)模塊（107）進(jìn)行更新；否則將此數(shù)據(jù)塊作為新的概念加入概念池（106）中；

步驟7：重復(fù)步驟1-6直至數(shù)據(jù)流結(jié)束；此時(shí)將概念統(tǒng)計(jì)模塊（107）中的統(tǒng)計(jì)信息進(jìn)行匯總，計(jì)算出概念池（106）中每個(gè)概念的統(tǒng)計(jì)信息；

步驟8：將上述統(tǒng)計(jì)信息輸入到概念轉(zhuǎn)移圖模塊（108），利用貝葉斯公式構(gòu)建概念轉(zhuǎn)移圖，完成概念漂移可視化過程。

2.根據(jù)權(quán)利要求1所述的一種動(dòng)態(tài)數(shù)據(jù)環(huán)境下的數(shù)據(jù)流分類方法，其特征在于，所述步驟3中建立kdq樹包括以下子步驟：

步驟3.1：首先選定數(shù)據(jù)塊中第一個(gè)屬性作為當(dāng)前屬性，在當(dāng)前維度中尋找中位數(shù)值v，對(duì)數(shù)據(jù)塊進(jìn)行劃分，使得劃分后得到的兩個(gè)子集中的樣本數(shù)量基本相等，即當(dāng)前屬性的數(shù)值大于v的數(shù)據(jù)以及當(dāng)前屬性的數(shù)值小于或等于v的數(shù)據(jù)的數(shù)量基本相等；

步驟3.2：在上述所得到的子集中，在后繼屬性中尋找能夠滿足劃分條件的屬性，并選擇此屬性作為當(dāng)前屬性，重復(fù)尋找中位數(shù)值的過程，繼續(xù)劃分?jǐn)?shù)據(jù)子集；

步驟3.3：重復(fù)以上過程，直到滿足終止條件為止；

所述劃分條件為：當(dāng)前維度數(shù)據(jù)的最大值與小值之差大于變量ε，且ε值由用戶指定；

所述終止條件為：當(dāng)前數(shù)據(jù)塊的數(shù)據(jù)規(guī)模小于n_min，或者每一維度的最大最小值之差均小于ε，其中于n_min值由用戶提前指定。