[發(fā)明專利]數(shù)據(jù)的處理方法及裝置、電子設(shè)備、計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011162997.2
• 申請(qǐng)日: 2020-10-27
• 公開（公告）號(hào): CN112307057A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 武冠宇;張賦;胡培永
• 申請(qǐng)（專利權(quán)）人: 北京健康之家科技有限公司
• 主分類號(hào): G06F16/2453
• 分類號(hào): G06F16/2453;G06F16/2458;G06F16/9537;H04L29/08
• 代理公司: 北京中強(qiáng)智尚知識(shí)產(chǎn)權(quán)代理有限公司 11448
• 代理人: 黃耀威

本發(fā)明公開了一種數(shù)據(jù)的處理方法及裝置、電子設(shè)備、計(jì)算機(jī)存儲(chǔ)介質(zhì)，涉及計(jì)算機(jī)領(lǐng)域，該方法包括：通過(guò)分布式發(fā)布訂閱消息系統(tǒng)獲取時(shí)序數(shù)據(jù)庫(kù)實(shí)例的指標(biāo)數(shù)據(jù)；基于所述指標(biāo)數(shù)據(jù)中包含的度量指標(biāo)以及所述度量指標(biāo)對(duì)應(yīng)的標(biāo)簽集合生成聚合標(biāo)識(shí)，其中，所述標(biāo)簽集合用于指示處理所述度量指標(biāo)的聚合函數(shù)類型；根據(jù)所述聚合標(biāo)識(shí)和預(yù)設(shè)聚合時(shí)間窗口對(duì)所述度量指標(biāo)進(jìn)行聚合處理。通過(guò)本發(fā)明，解決了相關(guān)技術(shù)中因需要采集大量的監(jiān)控指標(biāo)導(dǎo)致時(shí)序數(shù)據(jù)庫(kù)實(shí)例性能降低、工作效率低等技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其是一種數(shù)據(jù)的處理方法及裝置、電子設(shè)備、計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，大數(shù)據(jù)的監(jiān)控系統(tǒng)使用了InfluxDB時(shí)序數(shù)據(jù)庫(kù)，基礎(chǔ)監(jiān)控、應(yīng)用監(jiān)控采集周期是10秒。而隨著業(yè)務(wù)增長(zhǎng)，采集的監(jiān)控指標(biāo)越來(lái)越多，導(dǎo)致InfluxDB數(shù)據(jù)存儲(chǔ)壓力大，數(shù)據(jù)量過(guò)大導(dǎo)致數(shù)據(jù)存儲(chǔ)經(jīng)常會(huì)出現(xiàn)堆積，嚴(yán)重影響InfluxDB數(shù)據(jù)庫(kù)的查詢性能，使得監(jiān)控面板查詢監(jiān)控?cái)?shù)據(jù)比較緩慢；又由于報(bào)警系統(tǒng)也依賴InfluxDB時(shí)序數(shù)據(jù)庫(kù)中的時(shí)序數(shù)據(jù)，導(dǎo)致報(bào)警也容易出現(xiàn)誤報(bào)、漏報(bào)等問(wèn)題。

相關(guān)技術(shù)中，通過(guò)InfluxDB自帶聚合方案，InfluxDB會(huì)根據(jù)配置的時(shí)間周期自動(dòng)執(zhí)行腳本來(lái)進(jìn)行數(shù)據(jù)聚合，并將聚合后的數(shù)據(jù)回寫到InfluxDB中，InfluxDB CQ聚合方案(全稱為Continue Query)對(duì)InfluxDB查詢、寫入性能影響比較大。但是該方案的擴(kuò)展性能較低，針對(duì)新增的指標(biāo)需要?jiǎng)?chuàng)建新的CQ。

另一種方案中使用kapacitor(是一個(gè)開源框架，用來(lái)處理、監(jiān)控和警告時(shí)間序列數(shù)據(jù))進(jìn)行歷史數(shù)據(jù)聚合，通過(guò)使用kapacitor寫批處理和流處理腳本來(lái)聚合數(shù)據(jù)，來(lái)減少歷史數(shù)據(jù)的存儲(chǔ)量。但是使用kapacitor做聚合處理，編寫任務(wù)腳本kapacitor容錯(cuò)性較差，容易導(dǎo)致任務(wù)不工作；聚合任務(wù)也會(huì)耗費(fèi)kapacitor大量的內(nèi)存資源；而且kapacitor是一個(gè)單點(diǎn)系統(tǒng)，穩(wěn)定性較弱；擴(kuò)展性也不好，對(duì)于新的指標(biāo)需要重新編寫新的聚合腳本。

針對(duì)相關(guān)技術(shù)中存在的上述問(wèn)題，目前尚未發(fā)現(xiàn)有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例所要解決的一個(gè)技術(shù)問(wèn)題是相關(guān)技術(shù)中因需要采集大量的指標(biāo)數(shù)據(jù)導(dǎo)致時(shí)序數(shù)據(jù)庫(kù)實(shí)例性能降低、工作效率低等技術(shù)問(wèn)題。本發(fā)明實(shí)施例提供了一種數(shù)據(jù)的處理方法及裝置、電子設(shè)備、計(jì)算機(jī)存儲(chǔ)介質(zhì)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種數(shù)據(jù)的處理方法，包括：通過(guò)分布式發(fā)布訂閱消息系統(tǒng)獲取時(shí)序數(shù)據(jù)庫(kù)實(shí)例的指標(biāo)數(shù)據(jù)；基于所述指標(biāo)數(shù)據(jù)中包含的度量指標(biāo)以及所述度量指標(biāo)對(duì)應(yīng)的標(biāo)簽集合生成聚合標(biāo)識(shí)，其中，所述標(biāo)簽集合用于指示處理所述度量指標(biāo)的聚合函數(shù)類型；根據(jù)所述聚合標(biāo)識(shí)和預(yù)設(shè)聚合時(shí)間窗口對(duì)所述度量指標(biāo)進(jìn)行聚合處理。

可選的，所述基于所述指標(biāo)數(shù)據(jù)中包含的度量指標(biāo)以及所述度量指標(biāo)對(duì)應(yīng)的標(biāo)簽集合生成聚合標(biāo)識(shí)包括：確定所述時(shí)序數(shù)據(jù)庫(kù)實(shí)例中包含的多個(gè)數(shù)據(jù)庫(kù)以及每個(gè)數(shù)據(jù)庫(kù)中包含的多個(gè)度量指標(biāo)；通過(guò)時(shí)序數(shù)據(jù)庫(kù)行協(xié)議解析目標(biāo)度量指標(biāo)，得到所述目標(biāo)度量指標(biāo)的第一標(biāo)識(shí)碼以及所述目標(biāo)度量指標(biāo)對(duì)應(yīng)的目標(biāo)聚合函數(shù)類型，其中，所述標(biāo)簽集合包括多個(gè)聚合函數(shù)類型；根據(jù)目標(biāo)數(shù)據(jù)庫(kù)的第二標(biāo)識(shí)碼、所述第一標(biāo)識(shí)碼以及所述目標(biāo)聚合函數(shù)類型的組合生成所述目標(biāo)度量指標(biāo)的聚合標(biāo)識(shí)，其中，所述目標(biāo)數(shù)據(jù)庫(kù)為所述多個(gè)數(shù)據(jù)庫(kù)中任一數(shù)據(jù)庫(kù)，所述目標(biāo)度量指標(biāo)為存儲(chǔ)于所述目標(biāo)數(shù)據(jù)庫(kù)中的任一度量指標(biāo)。

可選的，所述方法還包括：基于所述目標(biāo)聚合函數(shù)類型對(duì)所述標(biāo)簽集合進(jìn)行篩選，以保留所述目標(biāo)聚合函數(shù)類型對(duì)應(yīng)的標(biāo)簽，其中，所述目標(biāo)聚合函數(shù)類型至少包括以下之一：求和函數(shù)、求最大值函數(shù)以及求平均值函數(shù)。

可選的，所述根據(jù)所述聚合標(biāo)識(shí)和預(yù)設(shè)聚合時(shí)間窗口對(duì)所述度量指標(biāo)進(jìn)行聚合處理包括：根據(jù)所述聚合標(biāo)識(shí)確定處理所述度量指標(biāo)的目標(biāo)聚合函數(shù)類型；基于所述預(yù)設(shè)聚合時(shí)間窗口設(shè)置處理所述度量指標(biāo)的定時(shí)滾動(dòng)窗口；基于所述定時(shí)滾動(dòng)窗口和所述目標(biāo)聚合函數(shù)類型對(duì)所述度量指標(biāo)進(jìn)行聚合處理。