[發明專利]日志數據處理方法及系統

有效

• 申請號: 201410562740.4
• 申請日: 2014-10-21
• 公開（公告）號: CN105589856B
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 儲曉穎
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 倪志華

本申請提供一種日志數據處理方法及系統。方法包括：日志數據處理系統中的映射節點向對應的目標客戶端代理裝置發送查詢請求，并接收目標客戶端代理裝置返回的目標日志數據；若映射節點接收到對應的所有目標客戶端代理裝置返回的目標日志數據，對所有接收到的目標日志數據進行關聯預處理，并將關聯預處理結果發送給日志數據處理系統中的歸納節點；若歸納節點接收到所有映射節點發送的關聯預處理結果，對所有接收到的關聯預處理結果進行關聯處理，并輸出關聯處理結果。本申請可以在對日志數據進行實時處理的同時，提高處理結果的可靠性。

【技術領域】

本申請涉及互聯網技術領域，尤其涉及一種日志數據處理方法及系統。

【背景技術】

海量日志數據的處理本質上屬于大數據計算，業界有著眾多成熟的解決方案，例如以Hadoop為代表的后計算流和以Storm為代表的預計算流。與Hadoop相比，Storm是個實時的、分布式以及具備高容錯的計算系統，Storm在保證高可靠性的前提下還可以讓處理進行的更加實時。

Storm計算流的過程為：在產生日志的宿主機上部署客戶端(agent)；每當宿主機有新的日志數據輸出到日志(log)文件時，客戶端將新的日志數據直接傳輸到Storm計算集群，Storm計算集群負責完成日志數據的計算和存儲。

在實際應用中，有時需要對一定時間段內的日志數據一起進行處理，例如在對周期型日志數據進行實時處理的應用場景中，日志數據的處理是以周期為單位的，這就需要Storm計算集群能夠確定同一周期內的日志數據全部到齊，然后再進行處理。目前，Storm計算集群可以根據當前時間判斷同一周期的日志數據是否全部到齊，例如若當前時間為14:03:30秒，則認為14:02分這一周期內的日志數據全部到齊；或者，Storm計算集群可以根據當前接收的數據來判斷同一周期內的日志數據是否全部到齊，例如若接收到14:03分這一周期內的日志數據，則認為14:02分這一周期內的日志數據全部到齊。

現有判斷同一周期內的日志數據是否全部到齊的兩種方式都比較絕對，均未考慮從客戶端到Storm計算集群的傳輸路徑造成日志數據的丟失或超時等情況。也就是說，現有兩種方式實際上并不能嚴格保證同一周期內的日志數據全部到齊，這就導致采用Storm計算集群對周期型日志數據進行實時處理的結果的可靠性較低。

【發明內容】

本申請的多個方面提供一種日志數據處理方法及系統，用以在對日志數據進行實時處理的同時，提高處理結果的可靠性。

本申請的一方面，提供一種日志數據處理方法，適用于日志數據處理系統，所述日志數據處理系統包括映射節點和執行節點，所述方法包括：

執行當前日志數據處理任務中的關聯預處理子任務的映射節點向所述映射節點對應的目標客戶端代理裝置發送查詢請求，并接收所述目標客戶端代理裝置根據所述查詢請求返回的當前日志數據處理任務所需的目標日志數據；

其中，所述目標客戶端代理裝置是部署于產生所述目標日志數據的日志宿主機上的客戶端代理裝置，所述查詢請求包括：日志文件標識和時間段標識，所述目標日志數據是所述日志文件標識所標識的日志文件中在所述時間段標識所標識的時間段內產生的日志數據；

若所述映射節點接收到所述映射節點對應的所有所述目標客戶端代理裝置返回的所述目標日志數據，對所有接收到的所述目標日志數據進行關聯預處理，并將關聯預處理結果發送給執行當前日志數據處理任務中的關聯處理子任務的歸納節點；

若所述歸納節點接收到所有執行關聯預處理子任務的所述映射節點發送的所述關聯預處理結果，對所有接收到的所述關聯預處理結果進行關聯處理，并輸出關聯處理結果。

本申請的另一方面，提供一種日志數據處理系統，包括：映射節點和歸納節點，所述歸納節點與所述映射節點連接；