[發明專利]一種基于小波時序樹狀概要的城市公共數據流融合方法

有效

• 申請號: 201210511205.7
• 申請日: 2012-11-30
• 公開（公告）號: CN103049485A
• 公開（公告）日: 2013-04-17
• 發明（設計）人: 陳庭貴;許翀寰
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;王利強

1.一種基于小波時序樹狀概要的城市公共數據流融合方法，其特征在于：所述融合方法包括以下步驟：

1)數據預處理：開始到達的數據作為第0層，每一時間段到達的數據流片段平均包含m個數據，假設每m個數據組成一個子序列，記為d_i，對d_i進行預處理，包括對數據進行空缺值處理，去離群點；

2)壓縮處理：對每m個數據d_i進行壓縮操作，生成第1層的壓縮數據節點P_i，i＝(1,2,3…)，構造一個非線性衰減函數：

fi=-αe-(ti-t0)+β---(1)]]>

其中：α,β為衰減速度因子，α+β=1,α>β,α,β∈[0,1]，用于對衰減函數進行調整以提高精確度，t₀表示初始時刻，則在時刻t_i，數據節點P_i的加權值為P_if_i，數據節點的壓縮采用離散小波變換變換，Φ分量中保存變換得到的r個最重要的小波系數；

隨著新數據的不斷到來，第1層上的壓縮數據節點不斷增加，達到設定數量時，將最老的m個數據節點{P₁’,P₂’，...,P_m’}進行歸并，合并成第2層上的一個數據節點，并計算數據節點的概要信息，以此逐層向上，從而使得該數據流總是被壓縮成一組分層次的數據節點；在整個計算過程中，內存中始終只存儲n個數據節點，不斷淘汰舊的數據；

3)小波系數的篩選：規范化小波系數，將每個系數除以即變化為其中l是層數，重構誤差的度量標準決定了最重要小波系數的選擇，小波系數的篩選過程遵循以下原則：

a、絕對值大的系數的缺失會對相關數據值的重構有更大的影響；

b、從結構樹上易知，越接近根節點的系數用于重構時影響的數據越多，具有更大的重要性，運用誤差平方和sse：

sse(D,D′)=Σi=1n(xi-xi′)2---(2)]]>

來進行小波系數的篩選，系數重要性的衡量基于sse最小化，使得Φ中保留了r個絕對值最大的系數；

4)基于小波變換的樹狀概要結構的動態維護：動態更新概要樹的節點，根據數據節點可加性原則，將l_i層上最老的m個節點合并到l_i+1層，并將l_i層余下的節點重新計數，同時將這m個老的數據移出內存，完成數據融合。

2.如權利要求1所述的基于小波時序樹狀概要的城市公共數據流融合方法，其特征在于：所述步驟1）中，假設數據流中數據的屬性個數為a，如果空缺屬性個數則認為該條數據是無效的，直接過濾；反之，將空缺屬性補充為該屬性所有取值的平均值，隨后采用中位數絕對值偏差(MAD)方法確定該數據流中的離群點，并刪除。