[發明專利]一種數據聚類的方法和裝置

有效

• 申請號: 202010567970.5
• 申請日: 2020-06-19
• 公開（公告）號: CN113821630B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 侯曉坤;林榆旺
• 申請（專利權）人: 菜鳥智能物流控股有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/2455;G06F18/22;G06Q40/12
• 代理公司: 北京君以信知識產權代理有限公司 11789
• 代理人: 錢秀茹

1.一種數據聚類的方法，其特征在于，所述方法包括：

獲取待聚類的目標日志數據；

判斷是否查找到與所述目標日志數據相似的第一日志數據；

在查找到所述第一日志數據時，根據所述第一日志數據確定第一聚類信息；

按照所述第一聚類信息，對所述目標日志數據進行聚類。

2.根據權利要求1所述的方法，其特征在于，所述在查找到所述第一日志數據時，根據所述第一日志數據確定第一聚類信息，包括：

在查找到所述第一日志數據時，確定所述第一日志數據對應的第二日志數據；

判斷所述目標日志數據是否與所述第二日志數據相似；

在所述目標日志數據與所述第二日志數據相似時，確定所述第二日志數據所屬的聚類簇的聚類信息為第一聚類信息。

3.根據權利要求2所述的方法，其特征在于，還包括：

在所述目標日志數據與所述第二日志數據相似時，建立所述目標日志數據和所述第二日志數據之間的相似關系。

4.根據權利要求3所述的方法，其特征在于，還包括：

建立所述目標日志數據對應的節點；

按照所述目標日志數據和所述第二日志數據之間的相似關系，建立以所述目標日志數據對應的節點為起點的相似邊。

5.根據權利要求2或3或4所述的方法，其特征在于，所述在查找到所述第一日志數據時，確定所述第一日志數據對應的第二日志數據，包括：

在查找到所述第一日志數據時，按照預先建立的所述第一日志數據與其他日志數據之間的相似關系進行遞歸查找，得到第二日志數據；其中，所述第二日志數據為所述遞歸查找的路徑中的根節點對應的數據。

6.根據權利要求5所述的方法，其特征在于，還包括：

在所述遞歸查找的過程中，若檢測到存在環結構，則從所述遞歸查找的路徑中，確定目標節點；

將所述目標節點設置為所述遞歸查找的路徑中的根節點。

7.根據權利要求6所述的方法，其特征在于，在所述將所述目標節點設置為所述遞歸查找的路徑中的根節點之后，還包括：

刪除以所述目標節點作為起點的相似邊。

8.根據權利要求6或7所述的方法，其特征在于，所述目標節點為最小的字典序對應的節點。

9.根據權利要求1所述的方法，其特征在于，在所述判斷是否查找到與所述目標日志數據相似的第一日志數據之前，還包括：

生成所述目標日志數據對應的指紋信息；

按照所述指紋信息，對所述目標日志數據分段存儲在多個分桶表中。

10.根據權利要求9所述的方法，其特征在于，所述判斷是否查找到與所述目標日志數據相似的第一日志數據，包括：

按照數據寫入時間的順序，對所述分桶表中的日志數據進行遍歷；

判斷所述遍歷到的日志數據是否與所述目標日志數據相似；

在所述遍歷到的日志數據與所述目標日志數據相似時，判定查找到與所述目標日志數據相似的第一日志數據。

11.根據權利要求1所述的方法，其特征在于，還包括：

在未查找到所述第一日志數據時，生成針對所述目標日志數據的第二聚類信息；

按照所述第二聚類信息，對所述目標日志數據進行聚類。

12.根據權利要求1所述的方法，其特征在于，所述目標日志數據包括以下任一項：

網絡安全日志數據、財務結算日志數據。