[發明專利]一種基于兩步聚類算法的異常數據診斷方法及系統

在審

• 申請號: 202110062362.3
• 申請日: 2021-01-18
• 公開（公告）號: CN112765142A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 汪尚;閆秀媛
• 申請（專利權）人: 北京易萊信科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06K9/62
• 代理公司: 北京聿華聯合知識產權代理有限公司 11611
• 代理人: 張文娟

1.一種基于兩步聚類算法的異常數據診斷方法，其特征在于，所述方法包括：

診斷類定義步驟、執行診斷操作前，對具備診斷需求的數據進行自定義類別劃分，確定用于作為聚類輔助設置信息的診斷類；

數據聚類步驟、基于確定的診斷類按照設定策略應用兩步聚類算法進行聚類處理；

異常診斷步驟、采用設定算法對聚類處理后的數據進行分析和計算，確定各數據對應的異常指數，并依據所述異常指數發現所有的目標異常數據。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

屬性字段診斷步驟、發現所有目標異常數據后，計算剩余數據對應各特征屬性的屬性異常指數，選取屬性異常指數滿足設定條件的特征屬性，將其對應的數據字段標記為異常數據字段。

3.根據權利要求1所述的方法，其特征在于，在定義診斷類的過程中，依據待診斷數據的來源分類特征、數據類型分類特征和/或數據描述對象分類特征中的一種或多種逐層確定待診斷數據對應的類別，直至滿足設定條件或無可用的分類特征，將確定的類別作為診斷類，為聚類步驟提供輔助。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在定義診斷類之前，獲取待診斷數據的來源信息、數據類型信息以及數據描述對象信息，并分析各自對應的可分類豐富度以及各分類對應的數據量，基于所述可分類豐富度和數據量的分析結果選取作為定義診斷類依據的有效信息，并生成該有效信息對應的分類特征，以輔助聚類步驟。

5.根據權利要求4所述的方法，其特征在于，選取有效信息的過程中，選取可分類豐富度以及各分類對應數據量均滿足設定條件的信息作為有效信息；

進而分析識別有效信息對應的各分類數據量滿足設定超量條件的分類，進一步劃分子類別作為分類特征，以均衡各診斷類對應的數據量。

6.根據權利要求1所述的方法，其特征在于，在所述異常診斷步驟中，按照下式計算聚類后各數據的距離作為其對應的異常指數：

其中，K表示診斷類的個數，d(x,y)表示數據點x和數據點y之間的距離，x_ij表示第i類的第j個數據點，k_ij表示第i類的數據記錄的個數，表示第i組數據的類中心。

7.根據權利要求1所述的方法，其特征在于，在發現所有目標異常數據的過程中，將各數據的異常指數與設定的診斷指標比較，選取滿足所述診斷指標的數據作為目標異常數據輸出；

其中，所述診斷指標為設定的異常指數閾值。

8.根據權利要求1所述的方法，其特征在于，在發現所有目標異常數據的過程中，獲取各數據對應的異常指數后，將各數據的異常指數按照一定的次序排列，依據設定的診斷指標選取滿足所述診斷指標的數據作為目標異常數據輸出；

其中，所述診斷指標為設定的異常數據比例指標或異常數據數量指標。

9.一種存儲介質，其特征在于，所述存儲介質上存儲有可實現如權利要求1～8中任一項所述方法的程序代碼。

10.一種基于兩步聚類算法的異常數據診斷系統，其特征在于，所述系統執行如權利要求1～8中任意一項所述的方法。