[發明專利]一種基于輕量級架構的業務日志處理方法、系統、存儲介質及終端

在審

• 申請號: 202210122718.2
• 申請日: 2022-02-09
• 公開（公告）號: CN114595363A
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 甄誠;田猛;夏曙東;石四平;張志平;孫智彬
• 申請（專利權）人: 北京中交興路信息科技有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F16/904;G06F16/906;G06F16/901;G06F40/194;G06F40/216;G06F40/242;G06F40/279
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 李小朋

1.一種基于輕量級架構的業務日志處理方法，其特征在于，所述輕量級架構包括promtail日志組件、loki日志組件和grafana日志組件，方法包括：

通過所述promtail日志組件收集當前系統中預處理后的業務日志進行標簽化處理，生成標簽化后的業務日志；

根據所述loki日志組件將標簽化后的業務日志進行存儲，并將存儲后的業務日志關聯至所述grafana日志組件上進行日志分類統計，生成統計結果；

將所述統計結果反饋至相應客戶端進行展示。

2.根據權利要求1所述的方法，其特征在于，所述通過所述promtail日志組件收集當前系統中預處理后的業務日志進行標簽化處理之前，還包括：

實時獲取針對系統中不同域名的訪問請求；

將所述針對系統中不同域名的訪問請求以日志的形式進行記錄，生成業務日志；

根據預設分詞詞典對所述業務日志進行分詞處理，生成多個待匹配字符串；

計算所述多個待匹配字符串中每個待匹配字符串與預設字符串庫中各標準字符串之間的相似度，得到每個待匹配字符串對應的多個相似度；

將所述每個待匹配字符串對應的多個相似度中最高相似度對應的標準字符串確定為每個待匹配字符串的最終字符串；

根據所述每個待匹配字符串的最終字符串生成預處理后的業務日志。

3.根據權利要求1所述的方法，其特征在于，所述通過所述promtail日志組件收集當前系統中預處理后的業務日志進行標簽化處理，生成標簽化后的業務日志，包括：

通過所述promtail日志組件收集當前系統中預處理后的業務日志；

加載針對預處理后的業務日志所設置的標簽庫；

根據所述標簽庫確定預處理后的業務日志對應的多個目標標簽；

根據所述多個目標標簽對預處理后的業務日志設置標簽，生成標簽化后的業務日志。

4.根據權利要求3所述的方法，其特征在于，所述根據所述標簽庫確定預處理后的業務日志對應的多個目標標簽，包括：

解析預處理后的業務日志，確定出預處理后的業務日志中所包含的多個服務屬性值；

根據所述多個服務屬性值從所述標簽庫中映射出所述多個服務屬性值對應的多個目標標簽。

5.根據權利要求1所述的方法，其特征在于，所述根據所述loki日志組件將標簽化后的業務日志進行存儲，包括：

確定標簽化后的業務日志中所包含的多個標簽以及每個標簽的日志數據；

將每個標簽的日志數據壓縮成chunks塊，得到每個標簽的chunks塊；

采用關系抽取算法構建所述每個標簽和與其對應的所述chunks塊之間的映射關系，生成映射關系表；

優化所述映射關系表，得到優化后的映射關系表；

將所述每個標簽的chunks塊以及優化后的映射關系表進行存儲。

6.根據權利要求5所述的方法，其特征在于，所述優化所述映射關系表，得到優化后的映射關系表，包括：

識別所述映射關系表中的相同關系和關系數量小于預設閾值的關系；

將所述相同關系進行歸并，并將關系數量小于預設閾值的關系進行剔除，得到優化后的映射關系表。

7.根據權利要求5所述的方法，其特征在于，所述將存儲后的業務日志關聯至所述grafana日志組件上進行日志分類統計，生成統計結果，包括：

將所述每個標簽的chunks塊以及優化后的映射關系表關聯至所述grafana日志組件上，以使所述grafana日志組件基于優化后的映射關系表進行日志分類統計，生成統計結果。