[發明專利]日志數據的記錄方法及服務器集群

在審

• 申請號: 201711148408.3
• 申請日: 2017-11-17
• 公開（公告）號: CN107979490A
• 公開（公告）日: 2018-05-01
• 發明（設計）人: 武昭
• 申請（專利權）人: 北京聯想超融合科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26;H04L29/08
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙)11348
• 代理人: 王偉鋒,劉鐵生

技術領域

本發明涉及數據處理技術領域，特別是涉及一種日志數據的記錄方法及服務器集群。

背景技術

為了合理利用系統資源，更好地發揮各種資源的效益，使各種物理設備之間的時間性限制條件減少到最低限度，最大限度地提高系統的效率，因而開發了高并發軟件系統。其中，高并發軟件系統中日志是不可缺少的一部分，系統日志用于記錄系統行為信息以及系統錯誤信息。

系統日志在記錄系統行為信息或者系統錯誤信息時，是逐條記錄的，在日志記錄過程中，由于高并發軟件系統是并發執行的，系統接收到日志寫入請求時，系統會將處理其他進程的中央處理器(Central Processing Unit，CPU)掛起，切換輸入/輸出(Input/Output，I/O)操作，將一條日志寫入到磁盤中，待日志成功寫入到磁盤后，喚起CPU；在記錄下一條日志時，重復同樣的操作。

發明人在實現上述發明過程中，發現現有技術的系統日志中一條日志本身是輕量級的，但是，在實際應用過程中，系統的運行會產生大量日志，大量日志組成的系統日志，數量是重量級的。在將大量的日志寫入磁盤時，由于會循環執行CPU的掛起、喚起操作，因此會降低系統記錄日志的效率。

發明內容

有鑒于此，本發明提供的一種日志數據的記錄方法及服務器集群，主要目的在于解決現有技術中，在執行日志寫入磁盤過程中，由于會循環執行CPU的掛起、喚起操作，因此會降低系統記錄日志的效率的問題，通過減少CPU的掛起、喚起次數來提高記錄日志的效率。

依據本發明一個方面，本發明提供了一種日志數據的記錄方法，包括：

獲取數據發送方發送的待存儲日志數據，并將所述待存儲日志數據存儲于日志緩存服務中，所述日志緩存服務用于暫存所述待存儲日志數據；

監控所述日志緩存服務中待存儲日志數據的數據量是否超過預設存儲閾值；

若超過，則將所述日志緩存服務中的所有待存儲日志數據寫入到日志系統中，其中，所述日志系統通過非易失性存儲器進行存儲。

可選的，將所述待存儲日志數據存儲于日志緩存服務中包括：

對所述待存儲日志數據進行解析，確定所述待存儲日志數據的數據類型；

將所述待存儲日志數據記錄到與所述數據類型對應的緩存模塊中，所述日志緩存服務中包含多個緩存模塊，所述緩存模塊與所述數據類型存在映射關系。

可選的，所述待存儲日志數據包含至少兩個字段：數據類型字段、數據內容字段；

所述對所述待存儲日志數據進行解析，確定所述待存儲日志數據的數據類型包括：

對所述待存儲日志數據的報文進行解析，獲取所述報文中的數據類型字段；

根據所述數據類型字段確定所述待存儲日志數據的數據類型。

可選的，在將所述日志緩存服務中的所有待存儲日志數據寫入到日志系統中之前，所述方法還包括：

若確定所述緩存模塊中所述待存儲日志數據的數據量未超過預設存儲閾值，則根據數據內容字段中的任一數據屬性，對所述待存儲日志數據進行分類，其中，所述數據內容字段中包含多種數據屬性；

將所述緩存日志中的所有待存儲日志數據寫入到日志系統中包括：

若確定所述緩存模塊中所述待存儲日志數據的數據量超過預設存儲閾值，則將所述緩存模塊中分類后的待存儲日志數據寫入所述日志系統中。

可選的，所述方法還包括：

若所述緩存模塊中的所有待存儲日志數據均寫入到所述日志系統中，則清空所述緩存模塊中的所有待存儲日志數據。

可選的，在將所述日志緩存服務中的所有待存儲日志數據寫入到日志系統中之前，所述方法還包括：

根據所述數據類型，在所述日志緩存服務中構建多個緩存模塊。

依據本發明另一個方面，本發明提供了一種服務器集群，包括：

處理器，被配置為獲取數據發送方發送的待存儲日志數據，將所述收發器接收到的所述待存儲日志存儲于日志緩存服務中，所述日志緩存服務用于暫存所述待存儲日志數據；

監控所述日志緩存服務中待存儲日志數據的數據量是否超過預設存儲閾值；

當所述日志緩存服務中待存儲日志數據的數據量超過所述預設存儲閾值時，將所述日志緩存服務中的所有待存儲日志數據寫入到日志系統中，其中，所述日志系統通過非易失性存儲器進行存儲；

存儲器，被配置為存儲所述處理器的可執行指令；

總線，被配置為耦接所述處理器及所述存儲器。

可選的，所述處理器還被配置為：