[發(fā)明專利]實時數(shù)據(jù)流模式識別應用的數(shù)據(jù)補全方法

有效

• 申請?zhí)枺?/td>: 201410737932.4
• 申請日: 2014-12-05
• 公開（公告）號: CN104484673B
• 公開（公告）日: 2017-10-20
• 發(fā)明（設計）人: 呂建;汪亮;陶先平
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京蘇高專利商標事務所(普通合伙)32204
• 代理人: 李玉平

1.一種實時數(shù)據(jù)流模式識別應用的數(shù)據(jù)補全方法，其特征在于，包含一個運行時在線數(shù)據(jù)緩存，一項數(shù)據(jù)完整性指標、和一個基于滑動窗口的迭代式抗冗余數(shù)據(jù)補全算法，具體包含以下步驟：

1)數(shù)據(jù)源連續(xù)產(chǎn)生數(shù)據(jù)形成輸入數(shù)據(jù)流，設數(shù)據(jù)率已知為每秒r個采樣值，輸入數(shù)據(jù)存儲于運行時在線數(shù)據(jù)緩存，記緩存的數(shù)據(jù)為D；

2)以當前時刻t為起點，使用大小為w秒的滑動窗口在緩存的數(shù)據(jù)中向前截取一段D[t-w,t]作為當前窗口數(shù)據(jù)；

3)在當前窗口數(shù)據(jù)D[t-w,t]的基礎上，結合已知數(shù)據(jù)源的數(shù)據(jù)率r、滑動窗口大小w，計算數(shù)據(jù)完整性指標c；

4)若當前窗口數(shù)據(jù)D[t-w,t]的完整性指標c不達標，則從前一個窗口的數(shù)據(jù)D[t-2w,t-w]中以最小冗余為原則，選取數(shù)據(jù)補充填入當前窗口D[t-w,t]，若補全后完整性指標c達到標準則算法結束，否則再往前移動一個窗口的數(shù)據(jù)D[t-3w,t-2w]中以最小冗余為原則，選取數(shù)據(jù)補充填入當前窗口D[t-w,t]，若補全后完整性指標c達到標準則算法結束，否則以此類推，直至完整性指標c達到標準或窮盡緩存中的所有數(shù)據(jù)。

2.如權利要求1所述的實時數(shù)據(jù)流模式識別應用的數(shù)據(jù)補全方法，其特征在于，步驟1)的具體過程為：

1.1)創(chuàng)建動態(tài)大小的在線運行時緩存D；

1.2)將數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)存入D，并按照數(shù)據(jù)獲取時間遞增排序；

1.3)根據(jù)上層模式識別應用的需求，定義D中緩存數(shù)據(jù)最長的保留時間為h秒，以避免緩存過于陳舊的數(shù)據(jù)。

3.如權利要求2所述的實時數(shù)據(jù)流模式識別應用的數(shù)據(jù)補全方法，其特征在于，步驟2)的具體過程為：

2.1)根據(jù)上層模式識別應用的需求，定義滑動窗口的大小w秒為合理的數(shù)據(jù)在時間上的分片粒度；

2.2)以當前時刻t為起點，向前回溯讀取緩存D中以t-w時刻開始到t時刻結束的一段數(shù)據(jù)D[t-w,t]作為當前滑動窗口的數(shù)據(jù)。

4.如權利要求2所述的實時數(shù)據(jù)流模式識別應用的數(shù)據(jù)補全方法，其特征在于，步驟3)的具體過程為：

3.1)給定當前滑動窗口數(shù)據(jù)D[t-w,t]，已知數(shù)據(jù)源的數(shù)據(jù)率r和滑動窗口大小w，按照以下公式計算數(shù)據(jù)完整性指標c：

其中，分子|D[t-w,t]|表示D[t-w,t]中所包含數(shù)據(jù)的數(shù)量；根據(jù)上述公式，由于分母r·w是w時間內傳感器數(shù)據(jù)量的上限，因此c為定義在[0,1]區(qū)間上的實數(shù)，c取值越大，表示數(shù)據(jù)D[t-w,t]的完整性越高。

5.如權利要求2所述的實時數(shù)據(jù)流模式識別應用的數(shù)據(jù)補全方法，其特征在于，步驟4)的具體過程為：

4.1)設置補全回溯深度變量j并初始化為j＝1；

4.2)設用于補全的緩存歷史數(shù)據(jù)段為D[t-2w,t-w]，取D[t-2w,t-w]中尾部的j個數(shù)據(jù)和D[t-w,t]中頭部的j個數(shù)據(jù)進行比較，取其差值的絕對值相加并求平均，即，按照如下公式計算j項數(shù)據(jù)間差值的平均值，d(j)：

d(j)=1jΣk=1j|D[t-w-j+k-1]-D[t-w+k-1]|]]>

其中，j為歷史數(shù)據(jù)段和當前數(shù)據(jù)段的重疊部分大小，k取1到j表示對重疊部分的數(shù)據(jù)進行枚舉，|D[t-w-j+k-1]–D[t-w+k-1]|表示歷史數(shù)據(jù)段的倒數(shù)第j項數(shù)據(jù)和當前數(shù)據(jù)段的第一項數(shù)據(jù)對其后，重疊部分第k項數(shù)據(jù)的數(shù)值差的絕對值；

4.3)計算當j的值為1到w時d(j)的取值，最終確定使得d(j)最小的j的值j’；

4.4)將D[t-2w,t-w-j’]中的數(shù)據(jù)子序列，按原順序補充到D[t-w,t]中數(shù)據(jù)序列的前方，得到補全后的當前滑動窗口中的數(shù)據(jù)D[t-w,t]。