[發明專利]基于窗口的流式數據缺失處理方法

有效

• 申請號: 201810215615.4
• 申請日: 2018-03-15
• 公開（公告）號: CN108650065B
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 沈中;秦超;楊清海
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04L1/18
• 分類號: H04L1/18;H04L12/807;G06K9/62
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

1.一種基于窗口的流式數據缺失處理方法，其特征在于，所述基于窗口的流式數據缺失處理方法通過對流式數據提供滑動窗口，根據數據流的大小動態調整窗口大小；利用數據內部的時間和空間特性對缺失數據進行填補，實現流式數據的缺失填補；

所述基于窗口的流式數據缺失處理方法包括以下步驟：

步驟一，輸入數據流；

步驟二，選取初始窗口大小，判斷窗口中的數據是否缺失；窗口大小選取和數據流數據缺失判斷方法具體包括：

初始窗口大小的選取根據數據流入速率進行設置，然后讀取窗口中的數據，如果存在缺失則進行下一步處理，如果不存在缺失則進行窗口滑動，滑動大小為當前窗口大小；

步驟三，滑動窗口大小調整；計算飽和可用窗口大小W_max；計算當前窗口W_cur大小，計算數據為空的子窗口NSW_null大小；調整窗口大小；動態滑動窗口評估方法具體包括：

(1)當前窗口W_cur大小計算，采用最大飽和可用窗口W_max的一定比例來獲取得；

(2)調整窗口大小的方法，保持η的大小在0.8-0.9的范圍內波動，然后動態調整SW的大小，當窗口占比增大到0.9則減小W_cur的大小，否則當窗口占比減小到0.8則增大W_cur的大小，其中表示數據窗口占比，SW為窗口大小；

步驟四，窗口鎖定，保持窗口大小并存儲窗口中的數據；

步驟五，進行不完備信息處理，判斷數據是部分缺失還是整體缺失；是部分缺失判斷是位置信息缺失還是信號信息缺失，或者兩部分都缺失，利用算法填充；全部缺失，判斷是什么情況缺失，利用算法填充；

所述步驟五位置信息部分缺失的填充方法采用差值法填充，任意第i項數據與第j項數據之間的相關性采用數據相關性公式計算，可以采用但不僅限于如下計算公式：

其中：j＝1,2,...,i-1,i+1,...,n；y_ik代表第i條數據項的第k個屬性值，y_jk代表第j條數據的第k個屬性值；y_i代表第i數據項的平均值，y_j代表第j條數據項的平均值；

所述步驟五缺失類型判斷方法具體如下：

在讀取窗口中的數據時，根據數據幀的情況，在讀取到缺失數據位以后，根據缺失部分位于數據幀中的位置來判斷具體缺失情況;

信號信息部分缺失情況方法采用空間最近鄰方法具體包括：對各個傳感器節點找到自己空間相關的節點信息，保存在本身的信息存儲單元中；找到缺失數據節點的缺失數據項，相鄰的空間相關性節點的相同或相近的時刻點的數據項，對數據項進行求均值，把結果填充到缺失的數據位；

所述步驟五特征全部缺失情況采用如下步驟：

(1)位置信號全而信號信息缺失，對缺失信息不處理，直接輸出；

(2)信息中的信號信息是全的，位置信息全部缺失，采用灰度預測方法進行填充；

(3)位置信息全部缺失時，并存在信號信息缺失的情況，對信息無法進行處理的，丟棄數據；

步驟六，輸出完備數據流。

2.一種應用權利要求1所述基于窗口的流式數據缺失處理方法的無線通信系統。