[發明專利]一種面向水文傳感器流數據的異常檢測方法

有效

• 申請號: 202110280231.2
• 申請日: 2021-03-16
• 公開（公告）號: CN112948145B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 葉楓;邵朋朋
• 申請（專利權）人: 河海大學
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F18/2433;G06F18/2431
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

本發明公開一種面向水文傳感器流數據的異常檢測方法，在實施異常檢測之前首先接收傳感器時間序列數據，經過數據清洗后通過Kafka模擬真實情況下傳感器數據的傳輸方式，將數據讀入Apache?Flink平臺，首先對Kafka隊列內數據進行反序列化，而后通過Flink提供的水印機制保證消費過程中的數據一致性，最后進行自回歸?孤立森林聯合模型的異常檢測。本發明使得水文傳感器數據的異常檢測精度得到很大提高，同時縮短了檢測時間。

技術領域

本發明涉及一種面向水文傳感器流數據的異常檢測方法，屬于數據挖掘與水文信息處理技術領域。

背景技術

隨著物聯網、傳感器技術的迅猛發展，河道內部署的用于感知水文信息的傳感器數量也隨著大量增加。由于易受到網絡擁塞、設備故障或人為的影響，來自水文傳感器的數據往往包含異常值。為了處理傳感器數據的異常，研究人員已提出了一系列模型與方法。然而，現有的方法或算法通常是基于距離或分類的思想，具有較高的時間復雜度，不適用于處理大規模的傳感器流數據。

孤立森林(Isolation?Forest)算法基于隔離思想，利用二叉樹的數據結構來劃分特征子空間。這種結構僅需要數據對比而避免了大量的距離類型的數值計算，在對單個數據點進行判定時能夠達到log(n)的時間復雜度。因此，它逐漸引起了學術界和工業界的廣泛關注。然而，現有的孤立森林及其優化算法的研究仍然存在以下不足：(1)很少有人研究它在水文傳感器領域的異常檢測中的應用，大量的傳感器產生海量的數據，異常檢測算法的應用沒有考慮與大數據平臺相結合，這與現實環境相悖。(2)一般來說，異常數據總是占很少一部分，但檢測所有數據仍需要相對長的時間。(3)算法本身有一定的隨機性。樹的質量不均勻導致檢測結果的偏差相對較大。

發明內容

發明目的：針對現有技術中存在的問題與不足，本發明提供一種面向水文傳感器流數據的異常檢測方法。

技術方案：一種面向水文傳感器流數據的異常檢測方法，在實施異常檢測之前首先接收傳感器時間序列數據，經過數據清洗后通過Kafka模擬真實情況下傳感器數據的傳輸方式，將數據讀入Apache?Flink平臺，首先對Kafka隊列內數據進行反序列化，而后通過Flink提供的水印機制保證消費過程中的數據一致性，最后進行自回歸-孤立森林聯合模型的異常檢測。

自回歸-孤立森林聯合模型的異常檢測是指，使用自回歸預測模型對傳感器數據進行預測，通過預測結果與觀測值之間的差異程度來決定是否要進入孤立森林檢測模型。

通過Kafka模擬真實情況下傳感器數據的傳輸方式，將數據讀入Apache?Flink平臺，包括如下實現步驟：

步驟13：選用和步驟11中具有相同規格的云服務器集群，配置標準不得低于Kafka和Flink能夠運行的最低配置。

步驟11：在云服務器上安裝Kafka程序，一臺服務器為Kafka主機，兩臺服務器為Kafka從機。

步驟12：將流式計算平臺Flink安裝至云服務器，配置Flink執行環境為一臺主機負責消息處理和計算任務，兩臺從機負責計算任務。

步驟14：基于Kafka，實現對不同Flink節點的連接和傳感器數據發送，傳感器數據發送是指通過Kafka向各個Flink節點插入數據。算法步驟如下：

輸入：傳感器數據，Kafka主題，Kafka分區，Flink連接信息

輸出：Kafka流數據

步驟141：判斷Flink節點類型(主機或從機)，并按照集群內網IP地址與端口信息與節點進行連接；

步驟142：當與Flink連接已確認時，根據查詢語言從待檢測傳感器數據中讀取數據并按照規定格式輸出，即作為生產者生產的待檢測傳感器數據；