[發明專利]日志數據處理方法、裝置和系統

有效

• 申請號: 201810877030.9
• 申請日: 2018-08-03
• 公開（公告）號: CN109033404B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 章淼
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種日志數據處理方法，包括：

獲取預設時間段內基于日志生成的多條待處理日志數據，其中，所述待處理日志數據包括多個屬性以及預設指標；所述屬性至少包括用戶來源、日志所對應的服務類型或者信息服務響應結果；所述預設指標至少包括用戶訪問日志的數量或者用戶訪問日志對應的時延；

確定多個屬性值組，其中，每一屬性值組包括至少兩個屬性值，每一個屬性值組中的各屬性值所對應的屬性不相同；

對于每一個屬性值組，根據具有該屬性值組的每一屬性值的多條待處理日志數據分別指示的預設指標的指標值，確定出具有該屬性值組的每一個屬性值的日志的所述預設指標的指標統計值；

根據多個屬性值組分別對應的預設指標的指標統計值，生成日志數據匯聚表，并將所述日志數據匯聚表進行數據傳輸；

所述方法還包括：從所述多個屬性中確定出多個屬性子組；對于每一個屬性子組中的每一個屬性，從所述日志數據匯聚表確定出該屬性的多個屬性值；基于該屬性子組的每一個屬性的多個屬性值，確定屬于該屬性子組的多個屬性值子組；對于每一個所述屬性值子組，基于所述日志數據匯聚表確定出該屬性值子組對應的預設指標的指標統計值；根據所述多個屬性值子組分別對應的預設指標的指標統計值，生成對應該屬性子組的日志數據匯聚子表。

2.根據權利要求1所述的方法，其中，所述待處理日志數據為日志；以及

所述獲取預設時間段內基于日志生成的多條待處理日志數據，包括：

獲取預設時間段內本地生成的多個日志；以及

所述對于每一個屬性值組，根據具有該屬性值組的每一屬性值的多條待處理日志數據分別指示的預設指標的指標值，確定出具有該屬性值組的每一個屬性值的日志的所述預設指標的指標統計值，包括：

將具有該屬性值組的每一個屬性值的日志所指示的所述預設指標的指標值進行累加，得到具有該屬性值組的每一個屬性值的日志的所述預設指標的指標統計值。

3.根據權利要求1所述的方法，其中，每條待處理日志數據包括預設第一屬性值組，以及預設指標的指標值；以及

所述確定多個屬性值組，包括：從多條待處理日志數據分別對應的預設第一屬性值組中確定出多個屬性值組；以及

所述對于每一個屬性值組，根據具有該屬性值組的每一屬性值的多條待處理日志數據分別指示的預設指標的指標值，確定出具有該屬性值組的每一個屬性值的日志的所述預設指標的指標統計值，包括：

確定出具有該屬性值組的每一屬性值的多條待處理日志數據；

將具有該屬性值組的每一屬性值的多條待處理日志數據各自指示的預設指標的指標值進行累加，得到具有該屬性值組的每一個屬性值的日志的所述預設指標的指標統計值。

4.一種日志數據處理裝置，包括：

獲取單元，被配置成獲取預設時間段內基于日志生成的多條待處理日志數據，其中，所述待處理日志數據包括多個屬性以及預設指標；所述屬性至少包括用戶來源、日志所對應的服務類型或者信息服務響應結果；所述預設指標至少包括用戶訪問日志的數量或者用戶訪問日志對應的時延；

第一確定單元，被配置成確定多個屬性值組，其中，每一屬性值組包括至少兩個屬性值，每一個屬性值組中的各屬性值所對應的屬性不相同；

第二確定單元，被配置成對于每一個屬性值組，根據具有該屬性值組的每一屬性值的多條待處理日志數據分別指示的預設指標的指標值，確定出具有該屬性值組的每一個屬性值的日志的所述預設指標的指標統計值；

第一生成單元，被配置成根據多個屬性值組分別對應的預設指標的指標統計值，生成日志數據匯聚表，并將所述日志數據匯聚表進行數據傳輸；

所述裝置還包括第二生成單元，所述第二生成單元被配置成：

從所述多個屬性中確定出多個屬性子組；

對于每一個屬性子組中的每一個屬性，從所述日志數據匯聚表確定出該屬性的多個屬性值；

基于該屬性子組的每一個屬性的多個屬性值，確定屬于該屬性子組的多個屬性值子組；

對于每一個所述屬性值子組，基于所述日志數據匯聚表確定出該屬性值子組對應的預設指標的指標統計值；

根據所述多個屬性值子組分別對應的預設指標的指標統計值，生成對應該屬性子組的日志數據匯聚子表。