[發明專利]一種日志落地方法及裝置

在審

• 申請號: 201711489580.5
• 申請日: 2017-12-29
• 公開（公告）號: CN110019046A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 嚴鎖鵬
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 康正德;孫曉芳

本發明提供了一種日志落地方法及裝置，該方法包括：獲取已知同步點日志的狀態信息，其中，所述已知同步點為目標同步點之前已完成日志落地的相鄰同步點；通過所述已知同步點日志的狀態信息為所述目標同步點創建臨時日志，并記錄所述臨時日志的狀態信息；根據所述臨時日志為所述目標同步點生成正式日志，并結合所述臨時日志的狀態信息更新存儲所述正式日志的狀態信息，以完成日志落地。可見，本發明通過同步點機制，將日志的落地過程分為不同的同步點來逐步完成。并且，在通過同步點機制完成日志落地的過程中，進一步提及日志在落地過程中的不同狀態，通過獲取并記錄日志落地過程中的狀態信息，為日志的完全一致落地做了必要的基礎。

技術領域

本發明涉及計算機信息處理技術領域，特別是涉及一種日志落地方法及裝置。

背景技術

隨著計算機通信技術的不斷發展，越來越多的數據需要通過網絡傳輸，隨之而來的是許多數據段要落地。現有的日志落地技術通常會用到HDFS(Hadoop Distributed FileSystem，分布式文件系統)，其被設計成適合運行在通用硬件上的分布式文件系統，非常適合大規模數據集上的應用。當前，日志落地即將一些流量的日志落地到HDFS系統。

現階段，當網絡中的數據段需要落地時，通常會通過flink(一種網頁代碼標記)提供的方案將所需落地的數據段保存到HDFS系統，以完成日志的落地，進而在整個HDFS系統逐漸會存儲數百或數千個文件數據片段的服務器。但是，目前flink提供的日志落地方案只能在日志格式是純文本形式時，才能保證日志落地后數據完全一致。而對于有結構的日志格式，在日志落地時會產生壞塊文件的現象，所產生的這些壞塊文件，顧名思義其已經是被損壞的，說明當前日志已經被損壞，相當于是丟失了部分數據，無法保證日志落地后數據的完全一致。然而，對于HDFS落地來說，為了節省空間，提高效率，帶結構的日志格式是不可或缺的，比如當日志為lzo(lempel-ziv-oberhumer，數據壓縮算法)或者gzip(文件壓縮程序)等帶壓縮結構的日志時，在日志落地的過程中便容易出現錯誤。

因此，對于帶結構的日志落地，目前還沒有好的解決方案。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的日志落地方法和相應的裝置。

依據本發明的一個方面，提供了一種日志落地方法，包括：

獲取已知同步點日志的狀態信息，其中，所述已知同步點為目標同步點之前已完成日志落地的相鄰同步點；

通過所述已知同步點日志的狀態信息為所述目標同步點創建臨時日志，并記錄所述臨時日志的狀態信息；

根據所述臨時日志為所述目標同步點生成正式日志，并結合所述臨時日志的狀態信息更新存儲所述正式日志的狀態信息，以完成日志落地。

可選地，獲取已知同步點日志的狀態信息，包括：

獲取已知同步點日志的位置信息及名稱信息。

可選地，通過所述已知同步點日志的狀態信息為所述目標同步點創建臨時日志，并記錄所述臨時日志的狀態信息，包括：

根據所述已知同步點日志的位置信息及名稱信息為所述目標同步點重新創建臨時日志；

由該重新創建的臨時日志覆蓋所述目標同步點的原始臨時日志，并記錄所述重新創建的臨時日志的狀態信息。

可選地，根據所述臨時日志為所述目標同步點生成正式日志，并結合所述臨時日志的狀態信息更新存儲所述正式日志的狀態信息，以完成日志落地，包括：

利用同步點機制將所述臨時日志關閉并生成所述目標同步點的正式日志，同時結合所述臨時日志的狀態信息更新存儲所述正式日志的狀態信息，以保證所述正式日志的生成及所述正式日志的狀態信息存儲同步，最終完成日志落地。