[發明專利]一種基于環形存儲表的數據動態壓縮保存方法

無效

• 申請號: 201010221563.5
• 申請日: 2010-06-29
• 公開（公告）號: CN101894153A
• 公開（公告）日: 2010-11-24
• 發明（設計）人: 劉鋒
• 申請（專利權）人: 武漢綠色網絡信息服務有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 唐正玉

技術領域

本發明涉及在互聯網業務分析應用中的一種基于環形存儲表的數據動態壓縮保存方法。

背景技術

我國的網絡在飛速地發展著，一方面網絡資源不斷成倍的增加，但是另一方面網民需求的增長卻更為迅猛。近些年來，大型運營商面對日益增長的需求不斷地擴充網絡容量。然而，除了不斷地擴充網絡容量，也需要針對網絡實際運行情況，在資源分配的方案上做出有效優化。

然而，針對網絡運行情況提出優化方案時，必須掌握網絡中各類關鍵數據(如時間、用戶、網絡、網絡流量，即在某用戶在某時間使用某網絡產生多少網絡流量)，并長期保存和查閱所述關鍵數據。由于存儲的關鍵數據是非常詳細的歷史數據，數據量非常大，而存儲介質容量是有限的，如果不限定存儲的時間/粒度，存儲介質無法存儲無限長時間的數據量。

現有的網絡數據保存方法中，有的數據庫查詢效率比較高，但是不能存儲長期的詳細歷史數據以供日后查詢；有的數據庫能存儲長期的詳細歷史數據，但是存儲空間浪費嚴重，且查詢效率非常低。

因此，有必要提供一種改進的網絡數據保存方法來克服現有技術的缺陷。

發明內容

本發明的目的是提供一種基于環形存儲表的數據動態壓縮保存方法，能快速存儲長期詳細的歷史數據，并保證查詢效率，節省存儲空間。

為了實現上述目的，本發明提供了一種基于環形存儲表的數據動態壓縮保存方法包括如下步驟：確定時間區間和時間粒度，將所述時間區間按照所述時間粒度劃分為多個連續的時間格，每個時間格對應一個時間點，所述連續的時間格構成存儲表；當當前時間到達存儲表的時間格對應的時間點時，根據所述時間點獲取的數據量確定壓縮參數以及根據所述壓縮參數確定數據量壓縮后的存儲空間，向所述時間格存儲所述壓縮參數和所述存儲空間的位置索引，向所述位置索引指示的位置存儲所述壓縮后的數據，直至所述存儲表的最后一個時間格對應的時間點結束，翻轉回所述存儲表的第一個時間格，此時所述存儲表成為環形存儲表。

在本發明的一個實施例中，所述根據所述時間點獲取的數據量確定壓縮參數的步驟具體為：根據所述時間點獲取的數據量確定選擇編碼方式，根據編碼方式確定壓縮參數。

在本發明的另一實施例中，所述環形存儲表的第一個時間格存儲對應的絕對時間，最后一個時間格存儲對應的絕對時間，當前時間格存儲對應的當前時間。

在本發明的又一實施例中，所述方法還包括：根據每個時間格對應的已存儲數據所占用的存儲空間確定最大峰值存儲空間、最小峰值存儲空間、以及平均存儲空間；根據所述最大峰值存儲空間、以及平均存儲空間預測將存儲的數據占用的空間。

在本發明的又一實施例中，所述方法還包括：當預測的將存儲的數據占用的空間大于所述第一時間格對應的已存儲數據占用的存儲空間時，在最后一個時間格后延伸一預置時間格，所述預置時間格對應存儲所述將存儲的數據。

與現有技術相比，本發明基于環形存儲表的數據動態壓縮保存方法將時間格對應的時間點獲取的數據量進行壓縮存儲，并將壓縮存儲的位置使用位置索引保存在時間格中，在查找數據時可以根據位置索引找到壓縮的數據，因此本方法不僅能節省存儲空間，而且能提高查詢效率。另外，時間格可以為根據用戶選定的時間區間定義多個時間格，因此本方法可以存儲長期詳細的歷史數據。

通過以下的描述并結合附圖，本發明將變得更加清晰，這些附圖用于解釋本發明的實施例。

附圖說明

圖1為本發明基于環形存儲表的數據動態壓縮保存方法的流程圖。

圖2a為圖1所示基于環形存儲表的數據動態壓縮保存方法中環形存儲表的示意圖。

圖2b展示了圖2a所示環形存儲表中時間格與數據之間的映射關系。

具體實施方式

現在參考附圖描述本發明的實施例，附圖中類似的元件標號代表類似的元件。

如圖1，本實施例基于環形存儲表的數據動態壓縮保存方法包括如下步驟：

步驟S1，確定時間區間和時間粒度，將所述時間區間按照所述時間粒度劃分為多個連續的時間格，每個時間格對應一個時間點(絕對時間)，所述連續的時間格構成存儲表(若選取30天的時間區間，時間粒度定為分鐘，則如圖1左半部分所示，從“起始點”開始建立一個連續的時間格組成的序列集合，其中時間格的個數為60×24×30＝43200)；

步驟S2，當存儲表的第一個時間格對應的時間點到達時，根據所述時間點獲取的數據量確定壓縮參數以及根據所述壓縮參數確定數據量壓縮后的存儲空間，向所述第一時間格存儲所述壓縮參數和所述存儲空間的位置索引，向所述位置索引指示的位置存儲所述壓縮后的數據；