[發明專利]高維空間異常數據優化識別方法

在審

• 申請號: 202010973364.3
• 申請日: 2020-09-16
• 公開（公告）號: CN112085115A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 胡陽;候文昌;房方;劉吉臻
• 申請（專利權）人: 華北電力大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/00;G16Y10/35
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 黃家俊

本發明公開了一種高維空間異常數據優化識別方法，首先，通過獲取工業過程多維變量運行數據并進行采集及存儲，然后進行機理剔除，接著，通過高維空間聚類分析方法對多維變量運行數據進行第一次聚類分析得到若干組第一數據類C_i；接著，對每一組第一數據類C_i進行第二次聚類分析，獲得若干組第二數據類C_ij；之后，在Copula高維概率空間下，建立所述多維變量構成的聯合概率分布，在每一個維度上，將所述多維變量聯合概率分布的取值范圍均勻劃分為多個概率區間；最后，基多向四分位算法、智能或數值型優化算法，實現對每個所述概率區間內運行數據樣本的異常數據優化識別。

技術領域

本發明涉及一種數據預處理方法，具體涉及一種高維空間異常數據優化識別方法及裝置。

背景技術

隨著工業物聯網的快速發展，海量工業過程運行數據得以采集和存儲。以風電工業為例，由于棄風限電、環境干擾、測量噪聲和傳輸存儲錯誤等原因的廣泛存在，風機數據采集與監控(SCADA)系統的記錄中產生了大量異常數據，主要包括堆積型和稀疏型異常數據。這些異常數據數量龐大并易對由數據驅動的風功率曲線建模、風電理論功率計算、風機運行性能評價、運行狀態及故障診斷等應用產生不良影響。由于異常數據與有效數據混合存在、多變量運行數據間復雜非線性等原因，加大了對異常數據識別、清洗的難度。因此，異常數據識別問題引起了學界和工業界的廣泛關注和研究。

從異常數據類型來看，堆積型異常數據量通常較大，特征明顯且較易識別，但識別精度較低，一般用于異常數據初始識別；稀疏型異常數據量通常較小，易與有效數據混淆，識別難度大，依賴高精度的識別算法。目前，聚類方法是實現大量堆積型異常數據識別的可行解決方案，但由于在高維空間下，由于數據存在大量無關屬性且分布稀疏等原因，多變量數據在高維空間下的數據識別常常難以取得良好效果。此外，用于稀疏型異常數據識別的有效算法較少，尤其在高維空間下，更加難以實現對稀疏型異常數據有效識別與精度評價。

發明目的

鑒于目前高維空間異常數據識別研究中存在的問題，本發明的目的在于提供一種高維空間異常數據優化識別的方法及裝置。

通過多變量數據在高維空間的多次聚類分析，完成高維空間堆積型異常數據的初始識別及剔除。在此基礎上，通過時序空間向概率空間的特征映射，在Copula高維概率空間下，定義多維變量線性相關性評價指標，基于Copula高維概率空間多向四分位算法、智能或數值型優化算法構建稀疏型異常數據優化識別問題描述，完成對高維空間內稀疏型常異常數據優化識別及剔除。

在工業物聯網背景下，通過采用本發明的所述方法進行數據預處理后，最終實現為數據驅動的相關應用奠定基礎的目的。

發明內容

根據本發明的一個方面，提供了一種高維空間異常數據優化識別方法，包括如下步驟：

S1：獲取工業過程多維變量運行數據，按照一定采樣時間進行數據采集及存儲；

S2：根據變量正常運行范圍，進行機理剔除；

S3：通過高維空間聚類分析方法對多維變量運行數據進行第一次聚類分析，將運行數據劃分為若干組第一數據類C_i；

S4：通過高維空間聚類分析方法對每一組第一數據類C_i進行第二次聚類分析，獲得若干組第二數據類C_ij；

S5：基于多維變量的邊緣概率分布，在Copula高維概率空間下，建立所述多維變量構成的聯合概率分布，其中，所述各變量邊緣概率分布的取值范圍為[0，1]，聯合概率分布的取值范圍為[0，1]；

S6：在Copula高維概率空間每一個維度上，將所述多維變量聯合概率分布的取值范圍均勻劃分為多個概率區間；