[發明專利]一種日志數據處理系統、方法和服務器

在審

• 申請號: 201711353295.0
• 申請日: 2017-12-15
• 公開（公告）號: CN108038207A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 常永峰;尹家意;郭景陽
• 申請（專利權）人: 暴風集團股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京尚倫律師事務所 11477
• 代理人: 張俊國

1.一種日志數據處理系統，其特征在于，所述系統包括日志數據收集服務器、分布式消息服務器、分布式文件服務器、處理服務器以及數據庫服務器；其中：

所述日志數據收集服務器，用于收集客戶端上報的日志數據；

所述分布式消息服務器，用于將所述日志數據收集服務器收集的日志數據存儲至所述分布式文件服務器，以及將所述日志數據中的至少一部分日志數據提供至所述處理服務器；

所述處理服務器，用于根據預設的處理規則對所述至少一部分日志數據進行格式化處理；將格式化處理后的日志數據發送至所述數據庫服務器；

其中，所述處理規則包括第一預設字符和與所述第一預設字符對應的第一轉換規則，以及第二預設字符和與所述第二預設字符對應的第二轉換規則；所述根據預設的處理規則對所述至少一部分日志數據進行格式化處理，包括：將所述至少一部分日志數據中的統一資源定位符中的第一預設字符根據第一轉換規則進行轉換；以及，將所述至少一部分日志數據中的JSON字符串中的值中的第二預設字符根據第二轉換規則進行轉換；

所述數據庫服務器，用于存儲所述處理服務器格式化處理后的日志數據。

2.根據權利要求1所述的系統，其特征在于，

所述處理服務器包括第一處理模塊，用于根據所述第一轉換規則，將所述至少一部分日志數據中的統一資源定位符中的第一預設字符轉換為空格，所述第一預設字符包括：\n、\t、\r、null、NULL、\\、％0A、％0D和％0A中的至少一項。

3.根據權利要求1所述的系統，其特征在于，

所述處理服務器包括第二處理模塊，用于根據所述第二轉換規則，將所述至少一部分日志數據中的JSON字符串中的值中的{和}分別轉換為{和}。

4.根據權利要求1所述的系統，其特征在于，

所述數據庫服務器還用于存儲所述預設的處理規則；

所述處理服務器還用于從所述數據庫服務器獲取所述預設的處理規則。

5.根據權利要求1所述的系統，其特征在于，所述處理規則還包括以下一項或多項：從所述至少一部分日志數據中提取的字段、提取的順序、對提取的字段的格式化處理規則、存儲到數據庫服務器中的位置。

6.一種日志數據處理方法，其特征在于，所述方法包括：

獲取待處理的日志數據；

根據預設的處理規則對所述日志數據進行格式化處理，其中，所述處理規則包括第一預設字符和與所述第一預設字符對應的第一轉換規則，以及第二預設字符和與所述第二預設字符對應的第二轉換規則；所述根據預設的處理規則對日志數據進行格式化處理，包括：將日志數據中的統一資源定位符中的第一預設字符根據第一轉換規則進行轉換；以及，將日志數據中的JSON字符串中的值中的第二預設字符根據第二轉換規則進行轉換；

將格式化處理后的日志數據發送至數據庫服務器。

7.根據權利要求6所述的方法，其特征在于，所述將日志數據中的統一資源定位符中的第一預設字符根據第一轉換規則進行轉換，包括：

根據第一轉換規則，將日志數據中的統一資源定位符中的第一預設字符轉換為空格，所述第一預設字符包括：\n、\t、\r、null、NULL、\\、％0A、％0D和％0A中的至少一項。

8.根據權利要求6所述的方法，其特征在于，所述將日志數據中的預設字段后的第二預設字符根據第二轉換規則進行轉換，包括：

根據第二轉換規則，將日志數據中的JSON字符串中的值中的{和}分別轉換為{和}。

9.根據權利要求6所述的方法，其特征在于，所述方法還包括：

從所述數據庫服務器獲取所述預設的處理規則。

10.根據權利要求6所述的方法，其特征在于，所述處理規則還包括以下一項或多項：從日志數據中提取的字段、提取的順序、對提取的字段的格式化處理規則、存儲到數據庫中的位置。

11.一種服務器，其特征在于，用于實現權利要求6-10中任一項所述的方法。