[發(fā)明專利]數(shù)據(jù)統(tǒng)計完整度計算方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710188801.9
• 申請日: 2017-03-27
• 公開（公告）號: CN106951360B
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計）人: 林鷺賢;林鴻其;徐劍
• 申請（專利權(quán)）人: 網(wǎng)宿科技股份有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F11/30
• 代理公司: 北京華智則銘知識產(chǎn)權(quán)代理有限公司 11573
• 代理人: 王昌貴

本發(fā)明公開了一種數(shù)據(jù)統(tǒng)計完整度計算方法和系統(tǒng)，所述方法包括以下步驟：持續(xù)采集網(wǎng)絡(luò)設(shè)備上的運行數(shù)據(jù)；將所述運行數(shù)據(jù)按生產(chǎn)時間點匯總，并對匯總后的運行數(shù)據(jù)進(jìn)行數(shù)據(jù)統(tǒng)計計算；用所述匯總后的運行數(shù)據(jù)的數(shù)據(jù)統(tǒng)計計算結(jié)果，計算所述運行數(shù)據(jù)的數(shù)據(jù)統(tǒng)計完整度。本發(fā)明提供一種數(shù)據(jù)統(tǒng)計完整度的計算方法和系統(tǒng)，能夠?qū)崟r地計算數(shù)據(jù)統(tǒng)計結(jié)果的完整度。一方面可作為分布式系統(tǒng)的統(tǒng)計數(shù)據(jù)的質(zhì)量指標(biāo)，另一方面可用于監(jiān)控系統(tǒng)數(shù)據(jù)采集和統(tǒng)計過程的異常情況，有助于及時發(fā)現(xiàn)和分析網(wǎng)絡(luò)設(shè)備運行和數(shù)據(jù)計算過程的異常。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)網(wǎng)絡(luò)數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)統(tǒng)計完整度計算方法和系統(tǒng)。

背景技術(shù)

分布式系統(tǒng)是建立在網(wǎng)絡(luò)之上的軟件系統(tǒng)，通常部署在一組獨立的網(wǎng)絡(luò)設(shè)備上，對外展現(xiàn)給用戶的是一個統(tǒng)一的整體，提供多種業(yè)務(wù)能力，由系統(tǒng)內(nèi)的全部或部分設(shè)備組合運行各個業(yè)務(wù)應(yīng)用。系統(tǒng)通常基于設(shè)備產(chǎn)生的運行數(shù)據(jù)做數(shù)據(jù)統(tǒng)計，為用戶提供具有業(yè)務(wù)價值的統(tǒng)計數(shù)據(jù)。

分布式系統(tǒng)基于設(shè)備運行數(shù)據(jù)的采集和統(tǒng)計的過程通常是多層級和復(fù)雜的，在現(xiàn)實計算過程中可能因為設(shè)備、網(wǎng)絡(luò)、系統(tǒng)、程序等多種因素出現(xiàn)異常，造成部分運行數(shù)據(jù)沒有進(jìn)入計算過程，從而導(dǎo)致數(shù)據(jù)統(tǒng)計結(jié)果因數(shù)據(jù)缺失而不完整。因此需要計算數(shù)據(jù)統(tǒng)計完整度，作為衡量數(shù)據(jù)統(tǒng)計結(jié)果的質(zhì)量指標(biāo)。

現(xiàn)有的技術(shù)已有基于監(jiān)控已知規(guī)模的網(wǎng)絡(luò)設(shè)備的運行數(shù)據(jù)，實現(xiàn)對整個網(wǎng)絡(luò)設(shè)備集群和每個網(wǎng)絡(luò)設(shè)備監(jiān)控的方法。該方法主要基于保存網(wǎng)絡(luò)設(shè)備運行數(shù)據(jù)和處理狀態(tài)的數(shù)據(jù)質(zhì)量表，實現(xiàn)對指定時間范圍、設(shè)備范圍、指標(biāo)范圍的運行數(shù)據(jù)查詢統(tǒng)計，以計算出目標(biāo)范圍的數(shù)據(jù)完整率。主要用于監(jiān)控網(wǎng)絡(luò)設(shè)備的運行數(shù)據(jù)完整性，以發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)備的異常狀況。

然而現(xiàn)有方法并不能夠滿足大規(guī)模分布式系統(tǒng)對各種業(yè)務(wù)的數(shù)據(jù)統(tǒng)計結(jié)果完整度的計算需求，其不足包括以下幾點：(1)大規(guī)模分布式系統(tǒng)的網(wǎng)絡(luò)設(shè)備集群規(guī)模大，少則上百多則上萬，生產(chǎn)數(shù)據(jù)的時間粒度通常是分鐘級，設(shè)備產(chǎn)生的運行數(shù)據(jù)量非常大，需要應(yīng)用大數(shù)據(jù)分布式存儲和并行計算技術(shù)。(2)數(shù)據(jù)完整度的目標(biāo)對象是不同業(yè)務(wù)的數(shù)據(jù)統(tǒng)計結(jié)果，而不是網(wǎng)絡(luò)設(shè)備。運行數(shù)據(jù)經(jīng)過多個層級計算處理，每一種數(shù)據(jù)統(tǒng)計結(jié)果都可以用完整度作為質(zhì)量指標(biāo)。(3)不同業(yè)務(wù)的運行數(shù)據(jù)可能來自不同范圍的網(wǎng)絡(luò)設(shè)備集群，且設(shè)備數(shù)量也會隨時間動態(tài)變化，因此要有可擴(kuò)展的數(shù)據(jù)存儲結(jié)構(gòu)和結(jié)合設(shè)備集群的實時信息的計算方法，才能精確計算出目標(biāo)業(yè)務(wù)數(shù)據(jù)的完整度。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的問題，本發(fā)明實施例提供了一種數(shù)據(jù)統(tǒng)計完整度計算方法和系統(tǒng)。所述技術(shù)方案如下：

一方面，一種數(shù)據(jù)統(tǒng)計完整度計算方法，包括以下步驟：

持續(xù)采集網(wǎng)絡(luò)設(shè)備上的運行數(shù)據(jù)；

將運行數(shù)據(jù)按生產(chǎn)時間點匯總，并對匯總后的運行數(shù)據(jù)進(jìn)行數(shù)據(jù)統(tǒng)計計算；

用匯總后的運行數(shù)據(jù)的數(shù)據(jù)統(tǒng)計計算結(jié)果，計算運行數(shù)據(jù)的數(shù)據(jù)統(tǒng)計完整度。

進(jìn)一步的，持續(xù)采集網(wǎng)絡(luò)設(shè)備上的運行數(shù)據(jù)的具體步驟包括：

設(shè)置數(shù)據(jù)計算中心和數(shù)據(jù)統(tǒng)計完整度表，數(shù)據(jù)計算中心用于數(shù)據(jù)采集、存儲和計算，數(shù)據(jù)統(tǒng)計完整度表用于保存數(shù)據(jù)統(tǒng)計完整度計算數(shù)據(jù)；

持續(xù)采集網(wǎng)絡(luò)設(shè)備上的運行數(shù)據(jù)。

進(jìn)一步的，將運行數(shù)據(jù)按生產(chǎn)時間點匯總，并對匯總后的運行數(shù)據(jù)進(jìn)行數(shù)據(jù)統(tǒng)計計算的具體步驟包括：

將從網(wǎng)絡(luò)設(shè)備上持續(xù)采集到的運行數(shù)據(jù)匯總到數(shù)據(jù)計算中心，按生產(chǎn)時間點整合；

保存整合后的運行數(shù)據(jù)；

存儲已保存的運行數(shù)據(jù)的來源設(shè)備信息，來源設(shè)備信息包括運行數(shù)據(jù)指標(biāo)、時間點和來源設(shè)備數(shù)；

對整合后的運行數(shù)據(jù)進(jìn)行數(shù)據(jù)統(tǒng)計計算。