[發明專利]一種特定數據信息的展示處理方法

無效

• 申請號: 200810039895.4
• 申請日: 2008-06-30
• 公開（公告）號: CN101620602A
• 公開（公告）日: 2010-01-06
• 發明（設計）人: 馮謐
• 申請（專利權）人: 上海全成通信技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海科盛知識產權代理有限公司
• 代理人: 趙志遠

技術領域

本發明涉及數據庫的設計、分析，多層次的的結構處理，特別涉及一種特定數據信息的展示處理方法。

背景技術

中國的電信領域是一個快速發展的領域，需求的變化很大，業務數據量大，實際的業務數據源將達到50G左右，數據處理后每天也要達到10G左右增量，這樣就要求設計時要尤其考慮的空間的利用及效率的改造，而現有技術很難滿足它的要求。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷，提供一種高效率的特定數據信息的展示處理方法。

本發明的目的可以通過以下技術方案來實現：一種特定數據信息的展示處理方法，其特征在于，包括以下步驟：

(1)由第一層的數據源文件定時寫入數據庫；

(2)由第二層數據表的數據經過計算，聚合到以user為單位粒度的第三層數據表中；

(3)在第三層中，完成數據的計算，數據的冗余不做處理，數據的高粒度需要進一步的聚合；

(4)在數據的第四層中實現數據粒度的冗余處理，節省空間的存儲；

(5)第五層中實現數據以天粒度為單位的聚合。

所述的步驟(1)不對數據進行處理，為第二層數據處理提供基礎。

所述的第二層數據表的數據為冗余存儲的，以電話號碼為最小粒度，且含有相關的KPI指標。

與現有技術相比，本發明可以保證數據計算的準確性，還可以滿足業務需求中對累計值的計算，對數據庫中數據過濾重復記錄的要求，同時也可以實現數據庫冗余存儲的高效率方式。

附圖說明

圖1是本發明一種特定數據信息的展示處理方法的N層次處理關系示意圖；

圖2是本發明一種特定數據信息的展示處理方法的數據處理過程示意圖。

具體實施方式

如圖1、圖2所示，本實施例包括以下步驟：

(1)在AIX服務中通過shell腳本來進行數據文件寫入數據庫數據表。這部分在操作系統中實現。

(2)在第二層至第三層中，是通過oracle數據庫的存儲過程來編碼實現數據的加載，此過程非常重要，包含大量的口徑計算，業務分析。

(3)在第四層至第五層中，通過存儲過程來實現數據的聚合。在第五層中數據已經實現了事實表的最終加載。

在整個N層次數據處理過程中，要考慮到數據的質量，因而要包含以下幾個方面：數據入庫，數據清洗，數據轉換，數據加載。

數據入庫：將數據文件以原始方式直接寫入數據庫表中；

數據清洗：將源數據中臟數據進行處理、過濾，來保證數據質量；

數據轉換：將源數據中相關的編碼，數據，通過一定的規范替換成統一的數據類型；

數據加載：將處理好的數據寫入到相關的目標表中。

N層次的數據處理，包括以下步驟：

A.直接由第一、二層次數據直接寫入數據第五層中會省去了中間層user級別的數據，如果沒有user級別的數據就無法滿足月報及周報相關的用戶數指標。

B.通過數據庫本身的機制存儲過程來實現指標的計算、數據的加載，每天自行調度，數據的新鮮度取昨天數據。

C.數據分層，每層作用不同，分工不同；在業務報表展現中，涉及的日報都會從第五層結構中取數據展現，涉及自明細數據會從第三層來取數據展現，涉及自月報的數據要從第四層的數據加載入月報的數據表中再進行展現。

各個層次間的數據都有相互依賴性，依賴方式高到低度層次的依賴。

可以從不同層次的數據選擇數據源來保證不同數據業務層次的需求，也保證了技術和業務的同步。

數據處理更高效的存儲，冗余數據加載聚合數據，再做清空，效率在得到保障后，再保證空間的存儲。即保證了效率，又節省了空間。

數據質量有問題，可以按照實際數據的存儲結構來實現分層次查找，便于問題的跟蹤，及時的發現數據質量的問題，保證了數據在展現過程的及時準確。

本發明涉及數據庫數據處理的特定方法，該方法可以保證數據計算的準確性，還可以滿足業務需求中對累計值的計算，對數據庫中數據過濾重復記錄的要求，同時也可以實現數據庫冗余存儲的高效率方式。本方法將源數據文件(表)到最終的數據文件(表)分成五層關系；每一層的數據粒度都有差異，存儲空間也有一定的差異，這樣再處理月報表，周報表的統計過程中也靈活的根據業務需求，來選擇相應層次的數據表去處理實際業務數據的指標。第一個層次是來源于最底層的數據文件，第二個層次是由第一層次進行入庫處理后而產生的數據表，這一層次實際上與第一層次在數據方面是一致的，只是存儲方式不同，區別在于文件與數據表存儲。第三層次是由第二層的N個數據源經過分析計算而產生的業務數據，有相應的KPI指標，有用戶的電話號碼來區分每個用戶。第四層次是在第三層的基礎上將冗余存儲進一步進行聚合，來實際數據空間的壓縮。第五層是在第四層的基礎上將數據進一步的聚合，將用戶級別的數據粒度聚合到以天為粒度的數據。在這五層數據的設計保證了不同業務需求的數據處理。