[發(fā)明專利]一種網(wǎng)絡設備數(shù)據(jù)質(zhì)量的分析方法

在審

• 申請?zhí)枺?/td>: 201710515712.0
• 申請日: 2017-06-29
• 公開（公告）號: CN107222351A
• 公開（公告）日: 2017-09-29
• 發(fā)明（設計）人: 徐馳;李朋;孫善寶;張愛成;段成
• 申請（專利權(quán)）人: 濟南浪潮高新科技投資發(fā)展有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 高經(jīng)

技術(shù)領域

本發(fā)明涉及計算機通信技術(shù)領域，具體提供一種網(wǎng)絡設備數(shù)據(jù)質(zhì)量的分析方法。

背景技術(shù)

計算機具有存儲信息量大，使用者獲取信息方便快捷等優(yōu)點，受到廣泛的應用。特別是隨著社會經(jīng)濟的飛速發(fā)展，計算機的應用領域越來越廣泛。在網(wǎng)絡性能數(shù)據(jù)監(jiān)控場景中，需要制定大量多種形式的報表，以能更直觀的對數(shù)據(jù)進行分析。但是，在系統(tǒng)自動生成報表后，有時會出現(xiàn)KPI(Key Performance Indicators)即主要績效指標的值和正常值偏差較大的現(xiàn)象，這時用戶需要判斷該偏差是否由于數(shù)據(jù)缺失導致。因此要求在報表中，可以直觀的看出數(shù)據(jù)的缺失情況，以及數(shù)據(jù)缺失對報表數(shù)據(jù)的影響。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)任務是針對上述存在的問題，提供一種在查詢報表時，可以用于輔助分析報表結(jié)果完整性和可靠性的網(wǎng)絡設備數(shù)據(jù)質(zhì)量的分析方法。

為實現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：

一種網(wǎng)絡設備數(shù)據(jù)質(zhì)量的分析方法，所述分析方法用于在電信網(wǎng)絡中對已采集到的設備運行數(shù)據(jù)進行數(shù)據(jù)質(zhì)量分析和查看，包括數(shù)據(jù)文件質(zhì)量分析和數(shù)據(jù)內(nèi)容質(zhì)量分析：數(shù)據(jù)文件質(zhì)量分析對原始數(shù)據(jù)、網(wǎng)元匯總數(shù)據(jù)、時間匯總數(shù)據(jù)定時生成數(shù)據(jù)質(zhì)量分析報告，提供根據(jù)查詢條件，查詢相關的數(shù)據(jù)完整率和數(shù)據(jù)缺失情況的服務；數(shù)據(jù)內(nèi)容質(zhì)量分析由決策中心進行調(diào)度，監(jiān)聽消息隊列，在網(wǎng)元匯總、時間匯總、入庫成功后，根據(jù)網(wǎng)元類型、時間粒度、指標集，建立數(shù)據(jù)質(zhì)量保存表，提供數(shù)據(jù)質(zhì)量保存服務。

數(shù)據(jù)質(zhì)量分析功能作為后臺服務獨立運行，在采集服務器中，配置一個專用進程用于生成數(shù)據(jù)文件缺失報告數(shù)據(jù)。該進程使用crontab方式啟動，每小時啟動一次，生成前一個小時數(shù)據(jù)文件缺失報告，用于報表的數(shù)據(jù)完整性分析。

所述數(shù)據(jù)文件質(zhì)量分析提供數(shù)據(jù)質(zhì)量查詢服務，生成數(shù)據(jù)質(zhì)量分析報告；數(shù)據(jù)內(nèi)容質(zhì)量分析提供數(shù)據(jù)質(zhì)量保存服務，建立數(shù)據(jù)質(zhì)量保存表，最終形成數(shù)據(jù)質(zhì)量報告。網(wǎng)絡維護人員在數(shù)據(jù)監(jiān)控系統(tǒng)查詢各類報表時，可同時查詢到數(shù)據(jù)質(zhì)量報告，輔助分析報表結(jié)果的完整性和可靠性。

作為優(yōu)選，所述數(shù)據(jù)文件質(zhì)量分析包括以下步驟

1)對原始采集文件進行記錄：記錄采集的所有原始性能文件名稱、以及原始性能文件在網(wǎng)元管理系統(tǒng)中的創(chuàng)建時間、大小、開始采集時間、采集完成時間；

2)對數(shù)據(jù)文件進行缺失檢查：

(a)根據(jù)采集實例獲取對應的大網(wǎng)元設備實體，由此獲取網(wǎng)元對象，進而獲取指標集和時間粒度；

(b)根據(jù)具體網(wǎng)元管理系統(tǒng)輸出的原始性能文件格式和接口規(guī)格，制定不同的數(shù)據(jù)文件缺失檢查規(guī)則；

(c)計算當前網(wǎng)元管理系統(tǒng)采集實例下，每個小時內(nèi)應輸出的各粒度原始采集文件名稱列表，通過對比采集歷史中記錄已采集原始文件名稱和文件數(shù)量，得到數(shù)據(jù)文件的數(shù)據(jù)缺失記錄；

(d)獲取最新采集的數(shù)據(jù)文件列表，若數(shù)據(jù)缺失記錄中已有此文件，則刪除此文件的缺失記錄。

步驟1)在采集程序完成對原始性能文件的采集后進行。

通過數(shù)據(jù)文件質(zhì)量分析定時生成數(shù)據(jù)質(zhì)量分析報告，在數(shù)據(jù)質(zhì)量查詢時，根據(jù)查詢條件，由數(shù)據(jù)質(zhì)量分析報告查詢相關的數(shù)據(jù)完整率和數(shù)據(jù)缺失情況。數(shù)據(jù)質(zhì)量查詢條件包括時間粒度、時間范圍、網(wǎng)元類型、網(wǎng)元列表、指標集列表，根據(jù)指標集查詢出指標集所屬的網(wǎng)元類型和時間粒度，分為指標原始數(shù)據(jù)、指標時間匯總數(shù)據(jù)和指標網(wǎng)元匯總數(shù)據(jù)三種情況，定位出查詢的數(shù)據(jù)質(zhì)量所在的表，記錄下查詢的網(wǎng)元在各個時間點的完整性，封裝為數(shù)據(jù)質(zhì)量結(jié)果。根據(jù)每條數(shù)據(jù)質(zhì)量記錄，按照平均算法計算出整體的完整性，以百分比來表示。

在展示數(shù)據(jù)報表時，同時展示報表涉及數(shù)據(jù)的整體完整性。如果報表中的數(shù)據(jù)存在明顯的異常，可以直接查看該數(shù)據(jù)對應的詳細的缺失信息，判斷是否是由于缺失導致的數(shù)據(jù)異常。如果發(fā)現(xiàn)報表的數(shù)據(jù)不完整，但也沒有明顯的數(shù)據(jù)異常時，可以查看報表包含的所有網(wǎng)元實體、所有時刻各指標的完整性，進而查詢詳細的缺失數(shù)據(jù)。

作為優(yōu)選，步驟(c)中根據(jù)原始性能文件命名規(guī)則、網(wǎng)元管理系統(tǒng)采集實例下大網(wǎng)元設備實體、指標集以及時間粒度，計算每個小時內(nèi)應輸出的各粒度原始采集文件名稱列表。

作為優(yōu)選，所述數(shù)據(jù)內(nèi)容質(zhì)量分析，記錄各粒度的各個時間點的數(shù)據(jù)成功入庫情況，針對一個時間點的數(shù)據(jù)，數(shù)據(jù)完整率為實際參與匯總的數(shù)據(jù)條數(shù)與正常參與匯總的數(shù)據(jù)條數(shù)的比例。

作為優(yōu)選，數(shù)據(jù)內(nèi)容質(zhì)量分析中，時間匯總情況根據(jù)時間粒度查詢相應依賴時間匯總表，計算出的最終數(shù)據(jù)記錄到數(shù)據(jù)庫數(shù)據(jù)質(zhì)量保存表中。