[發(fā)明專利]日志處理方法、系統(tǒng)、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110176429.6
• 申請日: 2021-02-09
• 公開（公告）號: CN112995307A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 武文軒;任政;白佳樂;齊頎
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 鄢功軍

本公開提供了一種日志處理方法、系統(tǒng)、裝置、電子設(shè)備及存儲介質(zhì)，本公開可用于大數(shù)據(jù)技術(shù)領(lǐng)域，也可用于金融領(lǐng)域或其他領(lǐng)域。其中，該日志處理方法包括：接收來自采集發(fā)送節(jié)點(diǎn)的日志數(shù)據(jù)和第一負(fù)載監(jiān)控?cái)?shù)據(jù)，第一負(fù)載監(jiān)控?cái)?shù)據(jù)包括所有采集發(fā)送節(jié)點(diǎn)的日志數(shù)據(jù)量總和；將日志數(shù)據(jù)轉(zhuǎn)發(fā)至緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)，以便緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)對日志數(shù)據(jù)進(jìn)行緩存后，緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)將日志數(shù)據(jù)轉(zhuǎn)發(fā)至存儲節(jié)點(diǎn)進(jìn)行存儲；根據(jù)第一負(fù)載監(jiān)控?cái)?shù)據(jù)，對采集發(fā)送節(jié)點(diǎn)、緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)、以及存儲節(jié)點(diǎn)的數(shù)量進(jìn)行調(diào)整，以便基于調(diào)整后的采集發(fā)送節(jié)點(diǎn)、調(diào)整后的緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)和調(diào)整后的存儲節(jié)點(diǎn)對新采集的日志數(shù)據(jù)進(jìn)行處理。

技術(shù)領(lǐng)域

本公開涉及大數(shù)據(jù)技術(shù)領(lǐng)域，更具體地，涉及一種日志處理方法、日志處理系統(tǒng)、日志處理裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲介質(zhì)、以及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)

隨著容器與kubernets的逐漸普及，實(shí)現(xiàn)持久化改造可以實(shí)現(xiàn)日志采集、緩存節(jié)點(diǎn)的與存儲節(jié)點(diǎn)輕量、快捷的部署。集群化部署需要將容器網(wǎng)絡(luò)通過集中網(wǎng)絡(luò)通信對外暴露進(jìn)行訪問，需要將節(jié)點(diǎn)進(jìn)行內(nèi)外網(wǎng)絡(luò)轉(zhuǎn)換并掛載對應(yīng)的負(fù)載均衡器以對各個節(jié)點(diǎn)流量負(fù)載進(jìn)行均衡化處理。

在實(shí)現(xiàn)本公開構(gòu)思的過程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)中至少存在如下問題，因所有采集端的數(shù)據(jù)都發(fā)送至外網(wǎng)負(fù)載均衡器，再由負(fù)載均衡器統(tǒng)一做調(diào)度，這種總線式的數(shù)據(jù)轉(zhuǎn)發(fā)方法無法對集群中各個節(jié)點(diǎn)進(jìn)行監(jiān)控和調(diào)配，無法應(yīng)對采集端節(jié)點(diǎn)負(fù)載異常突增造成集群中各個節(jié)點(diǎn)負(fù)載不均衡的問題。

發(fā)明內(nèi)容

有鑒于此，本公開提供了一種日志處理方法、日志處理系統(tǒng)、日志處理裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲介質(zhì)、以及計(jì)算機(jī)程序產(chǎn)品。

本公開的一個方面提供了一種日志處理方法，包括：

接收來自采集發(fā)送節(jié)點(diǎn)的日志數(shù)據(jù)和第一負(fù)載監(jiān)控?cái)?shù)據(jù)，第一負(fù)載監(jiān)控?cái)?shù)據(jù)包括所有采集發(fā)送節(jié)點(diǎn)的日志數(shù)據(jù)量總和；

將日志數(shù)據(jù)轉(zhuǎn)發(fā)至緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)，以便緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)對日志數(shù)據(jù)進(jìn)行緩存后，緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)將日志數(shù)據(jù)轉(zhuǎn)發(fā)至存儲節(jié)點(diǎn)進(jìn)行存儲；

根據(jù)第一負(fù)載監(jiān)控?cái)?shù)據(jù)，對采集發(fā)送節(jié)點(diǎn)、緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)、以及存儲節(jié)點(diǎn)的數(shù)量進(jìn)行調(diào)整，以便基于調(diào)整后的采集發(fā)送節(jié)點(diǎn)、調(diào)整后的緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)和調(diào)整后的存儲節(jié)點(diǎn)對新采集的日志數(shù)據(jù)進(jìn)行處理。

根據(jù)本公開的實(shí)施例，其中根據(jù)第一負(fù)載監(jiān)控?cái)?shù)據(jù)，對采集發(fā)送節(jié)點(diǎn)、緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)、以及存儲節(jié)點(diǎn)的數(shù)量進(jìn)行調(diào)整包括：當(dāng)?shù)谝回?fù)載監(jiān)控?cái)?shù)據(jù)超過預(yù)設(shè)閾值時，增加采集發(fā)送節(jié)點(diǎn)、緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)、以及存儲節(jié)點(diǎn)的數(shù)量。

根據(jù)本公開的實(shí)施例，還包括：

接收來自采集發(fā)送節(jié)點(diǎn)的第二負(fù)載監(jiān)控?cái)?shù)據(jù)，第二負(fù)載監(jiān)控?cái)?shù)據(jù)包括所有采集發(fā)送節(jié)點(diǎn)的日志訪問量總和；

當(dāng)?shù)诙?fù)載監(jiān)控?cái)?shù)據(jù)超過預(yù)設(shè)閾值時，增加緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)的數(shù)量。

根據(jù)本公開的實(shí)施例，還包括：

接收來自采集發(fā)送節(jié)點(diǎn)的第三負(fù)載監(jiān)控?cái)?shù)據(jù)，第三負(fù)載監(jiān)控?cái)?shù)據(jù)包括單個采集發(fā)送節(jié)點(diǎn)的日志數(shù)據(jù)量；

當(dāng)?shù)谌?fù)載監(jiān)控?cái)?shù)據(jù)超過預(yù)設(shè)閾值時，增加采集發(fā)送節(jié)點(diǎn)的數(shù)量。

根據(jù)本公開的實(shí)施例，還包括：

接收來自采集發(fā)送節(jié)點(diǎn)的第四負(fù)載監(jiān)控?cái)?shù)據(jù)，第四負(fù)載監(jiān)控?cái)?shù)據(jù)包括單個采集發(fā)送節(jié)點(diǎn)的日志訪問量；

當(dāng)?shù)谒呢?fù)載監(jiān)控?cái)?shù)據(jù)超過預(yù)設(shè)閾值時，增加緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)的數(shù)量。

根據(jù)本公開的實(shí)施例，還包括：

接收來自緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)的緩存負(fù)載監(jiān)控?cái)?shù)據(jù)，緩存負(fù)載監(jiān)控?cái)?shù)據(jù)用于表征緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)的緩存使用率；以及

當(dāng)緩存負(fù)載監(jiān)控?cái)?shù)據(jù)超過預(yù)設(shè)閾值，增加緩存轉(zhuǎn)發(fā)節(jié)點(diǎn)的數(shù)量。

根據(jù)本公開的實(shí)施例，還包括：