[發明專利]基于窗口的流式數據缺失處理方法

有效

• 申請號: 201810215615.4
• 申請日: 2018-03-15
• 公開（公告）號: CN108650065B
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 沈中;秦超;楊清海
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04L1/18
• 分類號: H04L1/18;H04L12/807;G06K9/62
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

本發明屬于信息檢索及其數據庫結構技術領域，公開了一種基于窗口的流式數據缺失處理方法，包括：輸入需要處理的含有缺失數據的數據流；判斷流式數據是否缺失；動態滑動窗口評估；窗口鎖定；不完備信息處理；輸出處理后的完備數據流結果。通過對流式數據提供滑動窗口，根據數據流的大小動態調整窗口大小；利用數據內部的時間和空間特性對缺失數據進行填補，對流式數據的缺失填補。本發明具有分類精度較高，運行時間復雜度低，計算資源利用率高等特點，有效的克服了現有處理方法存在的方式單一，時空復雜度高等問題。

技術領域

本發明屬于無線通信、信息檢索及其數據庫結構技術及領域，尤其涉及一種基于窗口的流式數據缺失處理方法。

背景技術

目前，業內常用的現有技術是這樣的：傳感器網絡通常用來監測不同位置的物理或環境狀況，網絡在獲取數據后會傳輸到數據中心對數據進行分析和顯示。在節點所環境中，通常由于傳感器網絡自身硬件和軟件的局限性，加上監測中遭到各種不利因素例如天氣、人為、電磁輻射以及向中心傳輸過程中傳輸信道不穩定等影響，傳感器網絡中的節點在監測和獲取信息的過程中，會出現數據缺失的情況，在數據中心接收到的數據將會是不完備的數據。數據的缺失，一般分為數據單重缺失和數據多重缺失，單重缺失是指數據中單一屬性值的缺失，而多重缺失是存在多重屬性值的缺失。傳感器網絡中數據通常是具有時間相關性和空間相關性的，時間相關性是指對同一個傳感器而言，其獲得的數據在時間上是具有前后關系的，而空間相關性是指網絡中各個節點之間在位置接近，它們獲得的數據之間具有一定的內在關系，這種內在關系就是空間相關性。在傳感器網絡的正常工作中，中心獲得的各個傳感器的數據是流式數據。在對含有缺失數據的流式數據進行處理中，通常需要計算數據的相關特性，同時需要存儲一定數據。這些在處理過程所需要的計算量通常用時間復雜度度量，需要的存儲空間通常用空間復雜度度量，流式數據由于其數據量大的特點，通常在處理中需要較大的時間復雜度和空間復雜度，這也會帶來一些獲取數據具有一定時延的問題。在一些特殊的場景例如實時監控領域，數據中心需要具有較小時延的數據來實時反映監控區域的狀態，因此在處理的過程中需要很好的解決時延問題。

現有技術一提出采用三階段法進行填充，第一階段特征挑選階段即挑選具有缺失數據的特征和完備數據特征，然后利用K最近鄰方法填充，最后利用貝葉斯定理進行后驗校正。但是利用K最近鄰方法本身具有一定缺陷，參數的選取對結果的影響很大，可能由于K值的選取不合適而造成結果誤差較大，而且K最近鄰方法計算復雜度高在流式數據處理過程中會造成很大時延，同時因為使用貝葉斯定理需要數據的統計特性，而在流式數據的情況下，無法精確獲得數據的統計結果，因此該方法不適用于具有流式數據的缺失處理。現有技術二利用分類器方法來對數據進行分類，然后基于同類數據中的相關性，對同一類中的缺失數據利用該類數據集數據均值進行填充，從而提高缺失數據處理精度。但該方法利用的分類器方法是基于不相關數據來進行，即具有不相關屬性的一些數據才可以進行分類，如果數據集內部數據的關聯性很大，即每種數據之間都是關聯的，那么該方法就無法將它們分開，因此就無法進行填充。傳感器網絡中的數據本身就存在時間和空間相關性，對同一環境數據進行感知時，各個傳感器獲得的數據內部具有相關，利用該方法無法將它們分類開，因此在此場景之下該方法不適用，而且分類器方法本身存在一個分類的過程，該過程耗時計算量大，在面對流失數據時同樣會存在處理延時較大的問題，因此該方法不適用于流式數據處理。

綜上所述，現有技術存在的問題是：

(1)采用三階段法進行填充形式單一，無法解決多重缺失填補問題，同時無法滿足流式數據處理需要的低時延的條件。

(2)利用分類器來分類并利用分類后的數據進行缺失數據填充，該方法無法解決具有內部數據屬性之間具有較關聯大關系的數據的分類問題

(3)現有技術主要針對靜態數據集的數據填充，在面對流式數據的缺失處理問題時，其方法在計算時時間復雜度和空間復雜度高，同時沒有解決數據流的流量控制問題。