[發明專利]日志數據處理方法、裝置和系統

有效

• 申請號: 201810877030.9
• 申請日: 2018-08-03
• 公開（公告）號: CN109033404B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 章淼
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了日志數據處理方法、裝置和系統。該方法的一具體實施方式包括：獲取預設時間段內基于日志生成的多條待處理日志數據，其中，待處理日志數據包括多個屬性以及預設指標；確定多個屬性值組；對于每一個屬性值組，根據具有該屬性值組的每一屬性值的多條待處理日志數據分別指示的預設指標的指標值，確定出具有該屬性值組的每一個屬性值的日志的預設指標的指標統計值；根據多個屬性值組分別對應的預設指標的指標統計值，生成日志數據匯聚表。當將日志數據匯聚表進行傳輸以對預設時間段內的日志進一步進行統計分析時，可以減少所占用的帶寬資源。有利于提高數據傳輸效率。

技術領域

本申請實施例涉及計算機技術領域，具體涉及互聯網技術領域，尤其涉及日志數據處理方法、裝置和系統。

背景技術

Web日志，可以包括但不限于各種前端Web服務器等產生的用戶訪問日志。

每條用戶訪問日志通常代表用戶的一次訪問行為。從一條用戶訪問日志中可以得到很多有用的信息，例如訪問者的IP、訪問的時間、訪問的目標網頁、來源的地址等。因此，用戶訪問日志中包含了大量人們會感興趣額信息，例如，我們可以從中獲取網站每類頁面的頁面訪問量等等。

一種常用的日志分析方式是，將一定時間段(例如1分鐘)內的用戶訪問日志匯總計算，生成多維數據表。

現有的多維數據表的方式是將所有提供信息服務的信息節點生成的用戶訪問日志，通過消息隊列，發送到日志匯聚服務器做匯聚計算。

發明內容

本申請實施例提出了一種日志數據處理方法、裝置和系統。

第一方面，本申請實施例提供了一種日志數據處理方法，該方法包括：獲取預設時間段內基于日志生成的多條待處理日志數據，其中，待處理日志數據包括多個屬性以及預設指標；確定多個屬性值組，其中，每一屬性值組包括至少兩個屬性值，每一個屬性值組中的各屬性值所對應的屬性不相同；對于每一個屬性值組，根據具有該屬性值組的每一屬性值的多條待處理日志數據分別指示的預設指標的指標值，確定出具有該屬性值組的每一個屬性值的預設指標的指標統計值；根據多個屬性值組分別對應的預設指標的指標統計值，生成日志數據匯聚表。

在一些實施例中，待處理日志數據為日志；以及獲取預設時間段內基于日志生成的多條待處理日志數據，包括：獲取預設時間段內本地生成的多個日志；以及對于每一個屬性值組，根據具有該屬性值組的每一屬性值的多條待處理日志數據分別指示的預設指標的指標值，確定出具有該屬性值組的每一個屬性值的日志的預設指標的指標統計值，包括：將具有該屬性值組的每一個屬性值的日志所指示的預設指標的指標值進行累加，得到具有該屬性值組的每一個屬性值的日志的預設指標的指標統計值。

在一些實施例中，每條待處理日志數據包括預設第一屬性值組，以及預設指標的指標值；以及確定多個屬性值組，包括：從多條待處理日志數據分別對應的預設第一屬性值組中確定出多個屬性值組；以及對于每一個屬性值組，根據具有該屬性值組的每一屬性值的多條待處理日志數據分別指示的預設指標的指標值，確定出具有該屬性值組的每一個屬性值的日志的預設指標的指標統計值，包括：確定出具有該屬性值組的每一屬性值的多條待處理日志數據；將具有該屬性值組的每一屬性值的多條待處理日志數據各自指示的預設指標的指標值進行累加，得到具有該屬性值組的每一個屬性值的日志的預設指標的指標統計值。

在一些實施例中，從多個屬性中確定出多個屬性子組；對于每一個屬性子組中的每一個屬性，從日志數據匯聚表確定出該屬性的多個屬性值；基于該屬性子組的每一個屬性的多個屬性值，確定屬于該屬性子組的多個屬性值子組；對于每一個屬性值子組，基于日志數據匯聚表確定出該屬性值子組對應的預設指標的指標統計值；根據多個屬性值子組分別對應的預設指標的指標統計值，生成對應該屬性子組的日志數據匯聚子表。