[發明專利]一種日志數據處理系統、方法和服務器

在審

• 申請號: 201711353295.0
• 申請日: 2017-12-15
• 公開（公告）號: CN108038207A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 常永峰;尹家意;郭景陽
• 申請（專利權）人: 暴風集團股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京尚倫律師事務所 11477
• 代理人: 張俊國

本發明公開了一種日志數據處理系統、方法和服務器，其中，方法包括：獲取待處理的日志數據；根據預設的處理規則對日志數據進行格式化處理，處理規則包括第一預設字符和與第一預設字符對應的第一轉換規則，以及第二預設字符和與第二預設字符對應的第二轉換規則；根據預設的處理規則對日志數據進行格式化處理包括：將日志數據中的統一資源定位符中的第一預設字符根據第一轉換規則進行轉換；以及將日志數據中的JSON字符串中的值中的第二預設字符根據第二轉換規則進行轉換；將格式化處理后的日志數據發送至數據庫服務器。本發明實施例通過設置第一預設字符、第二預設字符、第一轉換規則和第二轉換規則，可以將特殊字符進行處理以使后續可以被正確解析。

技術領域

本發明涉及日志數據處理技術領域，尤其是一種日志數據處理系統、方法和服務器。

背景技術

收集各種各樣的客戶端上報的日志數據，對于網站流量分析統計、評估用戶體驗、評估網站運營效果、提高服務器安全性等多方面具有重要的作用。通常，從各個客戶端收集日志數據，并將收集的日志數據存入存儲服務器，以及對日志數據進行處理后存儲到數據庫中。然而，在實時的日志數據處理過程中，未對特殊字符進行處理，導致某些字段的信息無法被正確解析。因此，如何對具有特殊字符的日志數據進行正確解析是亟待解決的問題。

發明內容

有鑒于此，本發明所要解決的技術問題在于如何提供一種日志數據處理系統、方法和服務器，可以對日志數據中的特殊字符進行處理。技術方案如下：

根據本公開實施例的第一方面，提供一種日志數據處理系統，所述系統包括日志數據收集服務器、分布式消息服務器、分布式文件服務器、處理服務器以及數據庫服務器；其中：

所述日志數據收集服務器，用于收集客戶端上報的日志數據；

所述分布式消息服務器，用于將所述日志數據收集服務器收集的日志數據存儲至所述分布式文件服務器，以及將所述日志數據中的至少一部分日志數據提供至所述處理服務器；

所述處理服務器，用于根據預設的處理規則對所述至少一部分日志數據進行格式化處理；將格式化處理后的日志數據發送至所述數據庫服務器；

其中，所述處理規則包括第一預設字符和與所述第一預設字符對應的第一轉換規則，以及第二預設字符和與所述第二預設字符對應的第二轉換規則；所述根據預設的處理規則對所述至少一部分日志數據進行格式化處理，包括：將所述至少一部分日志數據中的統一資源定位符中的第一預設字符根據第一轉換規則進行轉換；以及，將所述至少一部分日志數據中的JSON字符串中的值中的第二預設字符根據第二轉換規則進行轉換；

所述數據庫服務器，用于存儲所述處理服務器格式化處理后的日志數據。

可選的，所述處理服務器包括第一處理模塊，用于根據所述第一轉換規則，將所述至少一部分日志數據中的統一資源定位符中的第一預設字符轉換為空格，所述第一預設字符包括：\n、\t、\r、null、NULL、\\、％0A、％0D和％0A中的至少一項。

可選的，所述處理服務器包括第二處理模塊，用于根據所述第二轉換規則，將所述至少一部分日志數據中的JSON字符串中的值中的{和}分別轉換為{和}。

可選的，所述數據庫服務器還用于存儲所述預設的處理規則；

所述處理服務器還用于從所述數據庫服務器獲取所述預設的處理規則。

可選的，所述處理規則還包括以下一項或多項：從所述至少一部分日志數據中提取的字段、提取的順序、對提取的字段的格式化處理規則、存儲到數據庫服務器中的位置。

根據本公開實施例的第二方面，提供一種日志數據處理方法，包括：

獲取待處理的日志數據；