[發明專利]一種動態流式數據的聚類方法

在審

• 申請號: 201710454380.X
• 申請日: 2017-06-14
• 公開（公告）號: CN107273930A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 藍科;王純斌;王勇;覃進學
• 申請（專利權）人: 成都四方偉業軟件股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 成都金英專利代理事務所(普通合伙)51218
• 代理人: 袁英

1.一種動態流式數據的聚類方法，其特征在于，通過構建出時間片的概念，利用HMM進行預測得到理想的聚類結果，它包括以下步驟：

S1：提取時間字段：提取流式數據集的時間字段，并將時間字段單獨用結構存儲，原有流式數據結構中不再含有時間字段；

S2：構建時間片：根據時間字段數值，對每一個數據集按設定的排序規則進行排序，每一個數據集作為一個時間片，每個時間片內包含一個對應的數據集；

S3：判定數據點：定位識別不同時間片上的每個數據，數據在任意時間片上允許缺失，但不存在重復；

S4：時間片、數據求并集：每一個時間片下，包含整時間段的所有數據，如該數據點在該時間片下無對應數據，則標識出來等待后續進一步處理；

S5：檢查數據有效性：如果出現重復數據進行標記，對時間片進行增加副本形式，將數據處理為每個時間片沒有重復；

S6：剔除異常數據，針對全部時間片，檢查是否有存在波動異常的異常數據，如存在則剔除該數據；

S7：對數據求出質心：利用求質心計算公式，求出每一個數據在不同時間點下的所有數據的質心，并構建出新的數據集X；

S8：聚類處理：根據不同的聚類數目，選擇相應的聚類算法對新數據集X進行聚類處理，得到聚類結果。

2.根據權利要求1所述的一種動態流式數據的聚類方法，其特征在于，所述的數據集包括m個數據，每個數據有n個字段。

3.根據權利要求1所述的一種動態流式數據的聚類方法，其特征在于，所述的數據集的字段數允許有缺失或增加。

4.根據權利要求1所述的一種動態流式數據的聚類方法，其特征在于，所述的排序規則為升序排序。

5.根據權利要求1所述的一種動態流式數據的聚類方法，其特征在于，所述的排序規則為降序排序。

6.根據權利要求1所述的一種動態流式數據的聚類方法，其特征在于，還包括缺失數據處理步驟，采用設定的預測模型構建訓練模型并對缺失數據進行預測。

7.根據權利要求6所述的一種動態流式數據的聚類方法，其特征在于，所述的預測模型為隱形馬爾科夫模型。

8.根據權利要求1所述的一種動態流式數據的聚類方法，其特征在于，數據在同一個時間片內重復次數大于設定閾值，則判定為異常數據。

9.根據權利要求8所述的一種動態流式數據的聚類方法，其特征在于，所述的閾值為3。

10.根據權利要求1所述的一種動態流式數據的聚類方法，其特征在于，所述的質心計算公式為：其中X_m為質心，X_mi為數據集中數據，N為設定的聚類數。

11.根據權利要求1所述的一種動態流式數據的聚類方法，其特征在于，步驟S8中所述的聚類數目為K時則使用K-means算法對質心數據聚類；否則使用X-means算法對質心數據聚類。

12.根據權利要求1所述的一種動態流式數據的聚類方法，其特征在于，在步驟S8中，包括如下子步驟：

S81：求質心，利用求質心公式構建出數據集X：[X1,X2,X3,X4…..Xm]，求出每一個數據，在不同時間點下的所有數據的質心；

S82：判定是否設定聚類數目，若有聚類數目K則使用K-means算法對質心數據聚類，則針對數據集X：[X1,X2,X3,X4…..Xm]，進行聚類數目為K的聚類，得到聚類結果；若沒有聚類數目則使用X-means算法將自動選擇聚類質心數據，則針對數據集X：[X1,X2,X3,X4…..Xm]進行聚類，得到聚類結果。