[發明專利]一種異常數據自動識別方法、可讀存儲系統

在審

• 申請號: 202010650254.3
• 申請日: 2020-07-08
• 公開（公告）號: CN112560884A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 王清杰
• 申請（專利權）人: 北京德風新征程科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種異常數據自動識別方法、可讀存儲系統，包括如下步驟：S1獲取檢測設備在當前時刻所發出的數據量，建立當前時刻相關系數的數據矩陣；S2獲取當前時刻所在周期前一周期內檢測設備在各時刻所發出的數據量，得到前一周期的相關系數的數據矩陣；S3利用當前時刻相關系數的數據矩陣與前一周期的相關系數的數據矩陣進行篩選，篩選出相應的異常數據樣本；S4對多份異常樣本數據進行降維處理，得到每個樣本標識對應的異常特征坐標，同時，對待識別樣本數據進行降維處理，得到每個樣本標識對應的待識別特征坐標。本發明能夠直接計算出異常區間，以及根據異常區間識別出異常數據點，可以高效的識別每個樣本數值數據的異常。

技術領域

本發明涉及計算機技術領域，尤其涉及一種異常數據自動識別方法、可讀存儲系統。

背景技術

隨著科技的日新月異，存儲設備的普及和性能提升，加上互聯網和物聯網的快速發展，大量的數據被儲存了起來，如工業設備數據、傳感器數據、移動設備數據和金融數據等。從這些大量的數值型數據中找到異常點是獲得數據價值的一種重要方法。

現有技術中的異常點識別方法需要通過人為的干涉，例如通過人工識別確定異常點的發生邊界，或確定異常發生的區間。另外，對于不同的數據來源需要設定不同異常點的識別區間；由于異常區間是人為產生和設置的，而對于不同批次、不同來源的數據需要分別設置異常區間，使得尋找異常點的工作量是很大的，而這也導致了現有方式是低效的。

發明內容

基于背景技術存在的技術問題，本發明提出了一種異常數據自動識別方法、可讀存儲系統。

本發明提出的一種異常數據自動識別方法，包括如下步驟：

S1獲取檢測設備在當前時刻所發出的數據量，建立當前時刻相關系數的數據矩陣；

S2獲取當前時刻所在周期前一周期內檢測設備在各時刻所發出的數據量，得到前一周期的相關系數的數據矩陣；

S3利用當前時刻相關系數的數據矩陣與前一周期的相關系數的數據矩陣進行篩選，篩選出相應的異常數據樣本；

S4對多份異常樣本數據進行降維處理，得到每個樣本標識對應的異常特征坐標，同時，對待識別樣本數據進行降維處理，得到每個樣本標識對應的待識別特征坐標；

S5利用異常數據樣本的異常特征坐標與其他待識別樣本數據的待識別特征坐標進行對比，計算出異常數據樣本的異常特征坐標與其他待識別樣本數據的待識別特征坐標之間的數據差；

S6判斷數據差是否小于閾值，數據差是小于閾值時，將相應樣本標識對應的樣本數據標記為異常數據。

優選的，所述方法還包括：若判斷獲知所述當前時刻相關系數的數據矩陣為多維數據，則將多維數據處理為一維數據。

優選的，所述降維處理為通過計算當前時刻所發出的數據量中每個維度的方差，進行維度過濾，根據方差對過濾后的維度進行分組，得到兩個維度組合，對每個維度組合分別進行降維處理，將降維后的兩個維度組合進行拼接，生成與樣本標識對應的特征坐標。

一種計算機可讀存儲系統，其特征在于，包括其上存儲有計算機程序，該程序被處理器執行時實現如權利要求1至3任一所述方法的步驟。

本發明中，所述一種異常數據自動識別方法、可讀存儲系統，能夠直接計算出異常區間，以及根據異常區間識別出異常數據點，可以高效的識別每個樣本數值數據的異常。

具體實施方式

下面將對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。

一種異常數據自動識別方法，包括如下步驟：

S1獲取檢測設備在當前時刻所發出的數據量，建立當前時刻相關系數的數據矩陣；