[發明專利]異常數據的檢測方法及系統

在審

• 申請號: 202110166189.1
• 申請日: 2021-02-03
• 公開（公告）號: CN114861745A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 車航宇;魯時雨
• 申請（專利權）人: 株式會社日立制作所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/2458;G06F16/23
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 黃燦;姜精斌

1.一種異常數據的檢測方法，其特征在于，包括：

確定特征向量，所述特征向量由目標應用場景下需要檢測的目標參數以及與所述目標參數相關的至少一個條件參數構成；

獲取預先采集到的所述目標參數和所述至少一個條件參數的歷史參數值，得到所述歷史參數值對應的歷史特征向量，并生成包括多個所述歷史特征向量的歷史數據集；

計算所述歷史數據集中的每個歷史特征向量與K個最近鄰居的之間的距離的和值，作為每個歷史特征向量的總距離，并根據所述歷史數據集中的總距離的拐點，確定一參考閾值；

針對待檢測的第一特征向量，計算該第一特征向量與所述歷史數據集中的K個最近鄰居的之間的距離的第一和值，并根據所述第一和值與所述參考閾值，確定所述第一特征向量是否異常。

2.如權利要求1所述的方法，其特征在于，所述根據所述歷史數據集中的總距離的拐點，確定一參考閾值，包括：

按照從大到小的順序，對所述歷史數據集中的總距離排序，得到一個總距離的數值序列；

對所述數值序列進行曲線擬合，得到一擬合曲線；

計算所述擬合曲線中的拐點，并根據所述拐點對應的總距離，確定所述參考閾值。

3.如權利要求1所述的方法，其特征在于，所述根據所述歷史數據集中的總距離的拐點，確定一參考閾值，包括：

按照從大到小的順序，對所述歷史數據集中的總距離排序，得到一個總距離的數值序列；

針對所述序列中的每個總距離，計算該總距離的2倍值與相鄰的兩個總距離之間的差值的絕對值，作為該總距離對應的拐點參考值；

根據最大的拐點參考值所對應的總距離，確定所述參考閾值。

4.如權利要求1所述的方法，其特征在于，所述根據所述第一和值與所述參考閾值，確定所述第一特征向量是否異常，包括：

在所述第一和值大于所述參考閾值時，確定所述第一特征向量中的目標參數為異常狀態；

在所述第一和值不大于所述參考閾值時，確定所述第一特征向量中的目標參數為正常狀態。

5.如權利要求1所述的方法，其特征在于，還包括：

將新采集到的特征向量，添加至所述歷史數據集中；

在所述歷史數據集中新增的特征向量的數量達到預定門限時，重新執行確定所述參考閾值的步驟，更新所述參考閾值。

6.如權利要求1所述的方法，其特征在于，

在所述目標應用場景為車站，所述目標參數為單位時間內的客流量時，所述條件參數包括月份、日期類型、所述單位時間的起始時刻、氣溫和降雨量中的至少一種；

在所述目標應用場景為電表，所述目標參數為單位時間能耗值時，所述條件參數包括月份、日期類型、所述單位時間的起始時刻和氣溫中的至少一種。

7.一種異常數據的檢測系統，其特征在于，包括：

向量確定單元，用于確定特征向量，所述特征向量由目標應用場景下需要檢測的目標參數以及與所述目標參數相關的至少一個條件參數構成；

歷史數據獲取單元，用于獲取預先采集到的所述目標參數和所述至少一個條件參數的歷史參數值，得到所述歷史參數值對應的歷史特征向量，并生成包括多個所述歷史特征向量的歷史數據集；

閾值確定單元，用于計算所述歷史數據集中的每個歷史特征向量與K個最近鄰居的之間的距離的和值，作為每個歷史特征向量的總距離，并根據所述歷史數據集中的總距離的拐點，確定一參考閾值；

異常檢測單元，用于針對待檢測的第一特征向量，計算該第一特征向量與所述歷史數據集中的K個最近鄰居的之間的距離的第一和值，并根據所述第一和值與所述參考閾值，確定所述第一特征向量是否異常。

8.如權利要求7所述的系統，其特征在于，所述閾值確定單元包括：

第一排序單元，用于按照從大到小的順序，對所述歷史數據集中的總距離排序，得到一個總距離的數值序列；

曲線擬合單元，用于對所述數值序列進行曲線擬合，得到一擬合曲線；

第一計算單元，用于計算所述擬合曲線中的拐點，并根據所述拐點對應的總距離，確定所述參考閾值。