[發(fā)明專利]云平臺(tái)日志存儲(chǔ)系統(tǒng)擴(kuò)容方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010611864.2
• 申請(qǐng)日: 2020-06-30
• 公開(kāi)（公告）號(hào): CN111796769A
• 公開(kāi)（公告）日: 2020-10-20
• 發(fā)明（設(shè)計(jì)）人: 齊頎;任政;武文軒;白佳樂(lè)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)工商銀行股份有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06;G06F11/30
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 孫乳筍;王濤

本發(fā)明提供了一種云平臺(tái)日志存儲(chǔ)系統(tǒng)擴(kuò)容方法及裝置，所述的方法包括：獲取云平臺(tái)日志存儲(chǔ)系統(tǒng)的日志存儲(chǔ)層的集群資源使用狀況監(jiān)控?cái)?shù)據(jù)；根據(jù)所述的使用狀況監(jiān)控?cái)?shù)據(jù)和預(yù)設(shè)的集群存儲(chǔ)量警戒值生成擴(kuò)容請(qǐng)求；根據(jù)所述擴(kuò)容請(qǐng)求和預(yù)設(shè)的擴(kuò)容算法對(duì)云平臺(tái)日志存儲(chǔ)系統(tǒng)進(jìn)行擴(kuò)容。本發(fā)明的提供出了一種能力適配型橫向擴(kuò)展的日志均衡存儲(chǔ)方法，在不影響用戶查詢?nèi)罩颈憷缘那疤嵯拢鶕?jù)日志存儲(chǔ)層報(bào)警信息，實(shí)現(xiàn)三者集體快速橫向擴(kuò)展，同時(shí)，橫向擴(kuò)展后，提供一種日志存儲(chǔ)層的應(yīng)用日志均衡分配建議方案，建議運(yùn)維人員調(diào)整，以解決空閑集群資源浪費(fèi)、滿載集群性能降低的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)，具體的講是一種云平臺(tái)日志存儲(chǔ)系統(tǒng)擴(kuò)容方法及裝置。

背景技術(shù)

隨著接入的應(yīng)用增多及服務(wù)化工作的大規(guī)模推廣，云上容器日志數(shù)據(jù)量日益龐大。為了便于數(shù)據(jù)分析和挖掘，日志數(shù)據(jù)的集中化采集、解析和存儲(chǔ)成為唯一選擇。

現(xiàn)有技術(shù)中，業(yè)界通用的集中式容器日志采集解析存儲(chǔ)架構(gòu)主要包含日志采集層、日志緩沖層、日志消費(fèi)層和日志存儲(chǔ)層四個(gè)部分。日志數(shù)據(jù)通常按應(yīng)用或類型劃分，日志采集層采集到應(yīng)用日志后，放入日志緩沖層緩存，通過(guò)日志消費(fèi)層暫存解析后，集中存放在日志存儲(chǔ)層。

隨著日志數(shù)據(jù)量增長(zhǎng)，日志緩沖層、日志存儲(chǔ)層會(huì)面臨各自集群資源不足、日志消費(fèi)層可能面臨消費(fèi)能力跟不上的情況，常用的方式是根據(jù)某一層報(bào)警，對(duì)該層進(jìn)行橫向擴(kuò)展，但這樣會(huì)出現(xiàn)緩沖層、消費(fèi)層、存儲(chǔ)層能力不適配的情況，以致日志集中化解析存儲(chǔ)系統(tǒng)性能的大幅降低。

發(fā)明內(nèi)容

為了提升日志集中解析存儲(chǔ)系統(tǒng)的擴(kuò)展性和使用高效性，本發(fā)明提供了一種云平臺(tái)日志存儲(chǔ)系統(tǒng)擴(kuò)容方法，包括：

獲取云平臺(tái)日志存儲(chǔ)系統(tǒng)的日志存儲(chǔ)層的集群資源使用狀況監(jiān)控?cái)?shù)據(jù)；

根據(jù)所述的使用狀況監(jiān)控?cái)?shù)據(jù)和預(yù)設(shè)的集群存儲(chǔ)量警戒值生成擴(kuò)容請(qǐng)求；

根據(jù)所述擴(kuò)容請(qǐng)求和預(yù)設(shè)的擴(kuò)容算法對(duì)云平臺(tái)日志存儲(chǔ)系統(tǒng)進(jìn)行擴(kuò)容。

本發(fā)明實(shí)施例中，所述的集群資源使用狀況監(jiān)控?cái)?shù)據(jù)包括：集群狀態(tài)數(shù)據(jù)、集群整體磁盤占用情況數(shù)據(jù)、線程池狀態(tài)數(shù)據(jù)、JVM垃圾回收數(shù)據(jù)及I/O性能數(shù)據(jù)。

本發(fā)明實(shí)施例中，所述的根據(jù)所述的使用狀況監(jiān)控?cái)?shù)據(jù)和預(yù)設(shè)的集群存儲(chǔ)量警戒值生成擴(kuò)容請(qǐng)求包括：

根據(jù)所述的使用狀況監(jiān)控?cái)?shù)據(jù)和預(yù)設(shè)的監(jiān)控閾值生成集群報(bào)警信息；

根據(jù)所述的集群報(bào)警信息確定集群占用的存儲(chǔ)量；

確定所述的集群占用的存儲(chǔ)量大于預(yù)設(shè)的集群存儲(chǔ)量警戒值生成擴(kuò)容請(qǐng)求。

本發(fā)明實(shí)施例中，所述的根據(jù)所述擴(kuò)容請(qǐng)求和預(yù)設(shè)的擴(kuò)容算法對(duì)云平臺(tái)日志存儲(chǔ)系統(tǒng)進(jìn)行擴(kuò)容包括：

根據(jù)接收的擴(kuò)容請(qǐng)求確定對(duì)云平臺(tái)日志存儲(chǔ)系統(tǒng)日志存儲(chǔ)層的擴(kuò)容量；

根據(jù)確定的日志存儲(chǔ)層的擴(kuò)容量、預(yù)設(shè)的云平臺(tái)日志存儲(chǔ)系統(tǒng)日志存儲(chǔ)層與日志消費(fèi)層、日志緩沖層的匹配比例對(duì)云平臺(tái)日志存儲(chǔ)系統(tǒng)日志消費(fèi)層、日志緩沖層進(jìn)行擴(kuò)容。

本發(fā)明實(shí)施例中，所述的方法還包括：

根據(jù)負(fù)載均衡算法將應(yīng)用日志存儲(chǔ)至擴(kuò)容后的日志存儲(chǔ)層的集群。

同時(shí)，本發(fā)明還提供一種云平臺(tái)日志存儲(chǔ)系統(tǒng)擴(kuò)容裝置，裝置包括：

監(jiān)控?cái)?shù)據(jù)獲取模塊，用于獲取云平臺(tái)日志存儲(chǔ)系統(tǒng)的日志存儲(chǔ)層的集群資源使用狀況監(jiān)控?cái)?shù)據(jù)；

擴(kuò)容請(qǐng)求生成模塊，用于根據(jù)所述的使用狀況監(jiān)控?cái)?shù)據(jù)和預(yù)設(shè)的集群存儲(chǔ)量警戒值生成擴(kuò)容請(qǐng)求；

擴(kuò)容模塊，用于根據(jù)所述擴(kuò)容請(qǐng)求和預(yù)設(shè)的擴(kuò)容算法對(duì)云平臺(tái)日志存儲(chǔ)系統(tǒng)進(jìn)行擴(kuò)容。