[發明專利]基于k-means算法的中臺日志分析方法及設備

有效

• 申請號: 202011204400.6
• 申請日: 2020-11-02
• 公開（公告）號: CN112269879B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 謝帆;楊毅;賀珊
• 申請（專利權）人: 武漢烽火眾智數字技術有限責任公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 秦曼妮

本發明實施例提供了一種基于k?means算法的中臺日志分析方法及設備。所述方法包括：獲取一時長段內的調用接口的第一日志信息集，將所述第一日志信息集中的錯誤信息及冗余信息進行剔除，得到第二日志信息集；采用k—means算法對所述第二日志信息集中的全部日志信息進行聚類，得到全部聚類簇，根據所述全部聚類簇中心的均值，確定全部聚類簇中心的第一屬性與所述均值的第一屬性的相似性，對相似性超過預設閾值的聚類簇中心對應的接口進行相應調整。本發明實施例提供的基于k?means算法的中臺日志分析方法及設備，可以較為精確地定位調用頻率較高的接口，并對接口進行相應調整，顯著提升了系統的穩定性。

技術領域

本發明實施例涉及中臺數據挖掘技術領域，尤其涉及一種基于k-means算法的中臺日志分析方法及設備。

背景技術

業務中臺將已經在互聯網行業大規模推行和應用的中臺技術引入到傳統的特定系統中來，通過將不同種類應用中通用的模塊沉淀出可以復用的通用模塊組件，將通用能力從解決方案中抽離出來,與業務場景進行解耦，來形成統一的平臺體系，使得不同場景化的應用產品可以共用一個公共底座。業務中臺的上層應用會調用中臺接口，但是具體調用哪個接口較多，即哪個接口的使用頻率較高還是無法精確得知的信息，如果對接口不加區分的使用，會造成使用頻率較高的接口給與的通量較低，而使用頻率較低的接口給與的通量較高的問題，這回造成系統的穩定性較差，系統資源分配不合理的問題。因此，開發一種基于k-means算法的中臺日志分析方法及設備，可以有效克服上述相關技術中的缺陷，就成為業界亟待解決的技術問題。

發明內容

針對現有技術存在的上述問題，本發明實施例提供了一種基于k-means算法的中臺日志分析方法及設備。

第一方面，本發明的實施例提供了一種基于k-means算法的中臺日志分析方法，包括：獲取一時長段內的調用接口的第一日志信息集，將所述第一日志信息集中的錯誤信息及冗余信息進行剔除，得到第二日志信息集；采用k—means算法對所述第二日志信息集中的全部日志信息進行聚類，得到全部聚類簇，根據所述全部聚類簇中心的均值，確定全部聚類簇中心的第一屬性與所述均值的第一屬性的相似性，對相似性超過預設閾值的聚類簇中心對應的接口進行相應調整。

在上述方法實施例內容的基礎上，本發明實施例中提供的基于k-means算法的中臺日志分析方法，所述獲取一時長段內的調用接口的第一日志信息集，包括：對于上層應用在一時長段內的日志信息定期存儲，日志記錄上層應用的ID，調用的接口的種類，調用接口的方式，調用時間以及調用是否成功。

在上述方法實施例內容的基礎上，本發明實施例中提供的基于k-means算法的中臺日志分析方法，所述全部聚類簇中每一聚類簇的權重為：

其中，n_i為第i個聚類簇中聚類點的個數；x_ij為第i個聚類簇中的第j個聚類點；M_i為每一聚類簇的權重。

在上述方法實施例內容的基礎上，本發明實施例中提供的基于k-means算法的中臺日志分析方法，所述全部聚類簇中心的均值為：

其中，k為全部聚類簇的個數；為全部聚類簇中心的均值。

在上述方法實施例內容的基礎上，本發明實施例中提供的基于k-means算法的中臺日志分析方法，所述確定全部聚類簇中心的第一屬性與所述均值的第一屬性的相似性包括確定全部聚類簇中心的第一屬性相對所述均值的第一屬性的方差，相應地，所述方差為：

其中，為全部聚類簇中心的第一屬性相對所述均值的第一屬性的方差；m_il為第i個聚類簇中心第一屬性；/為所述均值的第一屬性。