[發明專利]日志文件合并方法、系統、設備及介質

在審

• 申請號: 202110195748.1
• 申請日: 2021-02-19
• 公開（公告）號: CN112905555A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 馬聰
• 申請（專利權）人: 廣東云智安信科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/16;G06F16/13;G06F16/182
• 代理公司: 北京捷誠信通專利事務所(普通合伙) 11221
• 代理人: 萬善書

1.一種日志文件合并方法，其特征在于，包括：

掃描待處理目錄下的所有文件，若掃描到新的文件，對該文件進行預處理；

將預處理后的文件數據按類型和時間段寫入到不同目錄下的新建文件；

在目錄下新建合并線程，將新建文件合并，并將合并后的文件上傳到hdfs上。

2.根據權利要求1所述的日志文件合并方法，其特征在于，所述掃描待處理目錄下的所有文件，包括：利用Files.walkFileTree對整個ftp根目錄下所有文件進行掃描。

3.根據權利要求2所述的日志文件合并方法，其特征在于，所述若掃描到新的文件，對該文件進行預處理，包括：若當某一目錄下出現新的文件且在hashset中查詢不到當前目錄，則創建線程合并當前目錄下的文件。

4.根據權利要求3所述的日志文件合并方法，其特征在于，所述創建線程，包括：線程創建時，在hashset中寫入當前目錄。

5.根據權利要求4所述的日志文件合并方法，其特征在于，所述線程創建前，檢測hashset中是否存放此目錄，若不存在此目錄，則創建線程。

6.根據權利要求5所述的日志文件合并方法，其特征在于，所述將新建文件合并，包括：將合并后的文件寫入到merging目錄下，當文件大小達到255M時，將文件移動到merged目錄。

7.根據權利要求6所述的日志文件合并方法，其特征在于，所述將合并后的文件上傳到hdfs上，包括：當前目錄下文件合并完成后，當文件大小達到255M時，將合并后的文件上傳到hdfs上，在hashset中刪除當前目錄，然后退出當前線程。

8.一種日志文件合并系統，其特征在于，包括：

掃描預處理模塊，配置用于掃描待處理目錄下的所有文件，若掃描到新的文件，對該文件進行預處理；

目錄寫入模塊，配置用于將預處理后的文件數據按類型和時間段寫入到不同目錄下的新建文件；

合并上傳模塊，配置用于在目錄下新建合并線程，將新建文件合并，并將合并后的文件上傳到hdfs上。

9.一種日志文件合并設備，其特征在于，包括：

存儲器，用于存儲一個或多個程序；

處理器，用于運行所述存儲器中存儲的所述程序，以實現如權利要求1-7任一項所述的日志文件合并方法。

10.一種計算機可讀存儲介質，其存儲有至少一個程序，其特征在于，當所述程序被處理器執行時，實現如權利要求1-7任一項所述的日志文件合并方法。