[發明專利]日志處理方法、系統、裝置、電子設備及存儲介質

在審

• 申請號: 202110176429.6
• 申請日: 2021-02-09
• 公開（公告）號: CN112995307A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 武文軒;任政;白佳樂;齊頎
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 鄢功軍

1.一種日志處理方法，包括：

接收來自采集發送節點的日志數據和第一負載監控數據，所述第一負載監控數據包括所有所述采集發送節點的日志數據量總和；

將所述日志數據轉發至緩存轉發節點，以便所述緩存轉發節點對所述日志數據進行緩存后，所述緩存轉發節點將所述日志數據轉發至存儲節點進行存儲；

根據所述第一負載監控數據，對所述采集發送節點、所述緩存轉發節點、以及所述存儲節點的數量進行調整，以便基于調整后的采集發送節點、調整后的緩存轉發節點和調整后的存儲節點對新采集的日志數據進行處理。

2.根據權利要求1所述的方法，所述根據所述第一負載監控數據，對所述采集發送節點、所述緩存轉發節點、以及所述存儲節點的數量進行調整包括：

當所述第一負載監控數據超過預設閾值時，增加所述采集發送節點、所述緩存轉發節點、以及所述存儲節點的數量。

3.根據權利要求1所述的方法，還包括：

接收來自所述采集發送節點的第二負載監控數據，所述第二負載監控數據包括所有所述采集發送節點的日志訪問量總和；

當所述第二負載監控數據超過預設閾值時，增加所述緩存轉發節點的數量。

4.根據權利要求1所述的方法，還包括：

接收來自所述采集發送節點的第三負載監控數據，所述第三負載監控數據包括單個所述采集發送節點的日志數據量；

當所述第三負載監控數據超過預設閾值時，增加所述采集發送節點的數量。

5.根據權利要求1所述的方法，還包括：

接收來自所述采集發送節點的第四負載監控數據，所述第四負載監控數據包括單個所述采集發送節點的日志訪問量；

當所述第四負載監控數據超過預設閾值時，增加所述緩存轉發節點的數量。

6.根據權利要求1所述的方法，還包括：

接收來自所述緩存轉發節點的緩存負載監控數據，所述緩存負載監控數據用于表征所述緩存轉發節點的緩存使用率；以及

當所述緩存負載監控數據超過預設閾值，增加所述緩存轉發節點的數量。

7.根據權利要求1所述的方法，還包括：

接收來自所述存儲節點的存儲負載監控數據，所述存儲負載監控數據用于表征所述存儲節點的存儲使用率；以及

當所述存儲負載監控數據超過預設閾值，增加所述存儲節點的數量。

8.一種日志處理系統，包括：采集發送節點、監控分配管理器、緩存轉發節點、以及存儲節點；

所述采集發送節點，用于采集日志數據并向所述監控分配管理器發送所述日志數據；

所述監控分配管理器，用于接收來自采集發送節點的日志數據，并將所述日志數據轉發至緩存轉發節點，以及用于接收所述來自采集發送節點的第一負載監控數據，所述第一負載監控數據包括所有所述采集發送節點的日志數據量總和，以及根據所述第一負載監控數據，對所述采集發送節點、所述緩存轉發節點、以及所述存儲節點的數量進行調整；

所述緩存轉發節點，用于對所述日志數據進行緩存、以及將所述日志數據轉發至存儲節點；以及

所述存儲節點，用于對來自所述緩存轉發節點的日志數據進行存儲。

9.一種日志處理裝置，包括：

第一接收模塊，用于接收來自采集發送節點的日志數據和第一負載監控數據，所述第一負載監控數據包括所有所述采集發送節點的日志數據量總和；

轉發模塊，用于將所述日志數據轉發至緩存轉發節點，以便所述緩存轉發節點對所述日志數據進行緩存后，所述緩存轉發節點將所述日志數據轉發至存儲節點進行存儲；

第一調整模塊，用于根據所述第一負載監控數據，對所述采集發送節點、所述緩存轉發節點、以及所述存儲節點的數量進行調整，以便基于調整后的采集發送節點、調整后的緩存轉發節點和調整后的存儲節點對新采集的日志數據進行處理。