[發明專利]一種基于統一視圖的行列混合數據存儲模型的建立方法

有效

• 申請號: 201510033610.6
• 申請日: 2015-01-22
• 公開（公告）號: CN104657426B
• 公開（公告）日: 2018-07-03
• 發明（設計）人: 王遠;陳亮;吳鵬;王為民
• 申請（專利權）人: 江蘇瑞中數據股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京知識律師事務所 32207
• 代理人: 汪旭東

本發明公開了一種基于統一視圖的行列混合數據存儲模型的建立方法，以同時滿足行列敏感應用的不同需求。本發明方法具體為在原始數據結構的基礎上進行數據抽象，標識出需要列式存儲的列，對這些列進行維度分析，為每列建立維度值索引表，以此構建星型模型，最后進行數據重組，將原始數據表分成兩個部分：事實表和維表，該事實表不包含維表相關列，且該事實表按行存儲，將維表、維度值索引表按列存儲。本發明在邏輯上基于星型模型進行數據抽象；在存儲上將I/O敏感的列進行列式存儲，并基于列值域進行邏輯壓縮，降低I/O開銷與存儲空間；在應用上，基于統一視圖/表，屏蔽數據存儲的異構性，減輕應用開發的復雜性。

技術領域

本發明涉及一種數據存儲模型的建立方法，屬于關系型數據庫、在線分析處理技術領域。

背景技術

隨著信息化的不斷發展，越來越多的企業在在生產信息化過程中積累了大量的結構化數據。以電力系統為例，一方面是所需要管理的測點規模越來越大，預計將達到千萬級甚至億級以上；另一方面是測點產生數據的頻率越來越高。隨著時間的積累，數據規模越來越大，預計將達到PB字節以上。再以運營商為例，隨著越來越多的省份用戶規模均接近上億規模，每天將產生數十億的信令數據與計費數據。數據量的飛速增長，將對數據倉庫的處理規模、處理速度提出了更高的要求。

由于傳統數據倉庫受制于其傳統的軟件體系架構，其在數據規模、處理能力、并行計算、負載均衡、動態自治等方面均已無法滿足實際應用需求。當前數據存儲模型主要有行存儲與列存儲兩類，行存儲主要面向“多列少行”的查詢類應用，而列存儲主要應對“多行少列”的分析統計類應用。目前許多企業針對不同的應用建立不同的數據倉庫，具備如下局限性：1)數據在邏輯上存儲多份，難于維護管理；2)數據重復存儲，造成巨大的成本壓力；3)應用需要做針對性的開發，不同的應用訪問不同的數據存儲。

在數據倉庫領域，引入新的數據存儲模型來解決上述問題是當前研究的熱點之一。經初步檢索，暫未發現有相關的專利文獻。

發明內容

為了解決上述問題，能夠同時滿足行列敏感應用的不同需求，使得數據訪問對應用透明，本發明提供了一種基于統一視圖的行列混合數據存儲模型的建立方法，該方法在邏輯上基于星型模型進行數據抽象，維護一份數據；在存儲上將I/O敏感的列進行列式存儲，并基于列值域進行邏輯壓縮，極大的降低I/O開銷與存儲空間；在應用上，基于統一視圖/表，屏蔽數據存儲的異構性，極大的減輕應用開發的復雜性。

本發明采用的技術方案具體為：

1)基于原始數據結構進行數據抽象，從原始記錄中，標識出需要進行列式存儲的列；

數據抽象是構建星型模型的基礎。本步驟決定哪些列按列存儲，以及相關列與原始數據的對應關系。

2)對上述需要列式存儲的列進行維度分析，為每一列建立對應的維度值索引表，維度值索引表包含兩列：原始值以及對應的值標識，該值標識記為VID。維度值索引表是數據重組的參照。最終的列存數據將不存儲對應列的原始值，而是存儲維度值索引表對應的值標識(VID)。

3)將原始數據表視為事實表，將需要列式存儲的列視為維度表，建立星型模型；

4)對事實表進行加工，對每條原始記錄生成唯一的記錄標識，記為RID；

5)對維表進行加工，依據維度值索引表將對應的維表更改為兩列結構：<RID,VID>，并建立對應的索引；

星型模型的建立使得列存數據(維表)與行存數據(事實表)之間建立起了關聯關系，維表與事實表的關聯鍵為對應的RID。在實際的應用過程中，數據庫系統將先訪問維度值索引表，將對應的維度值轉換成VID，利用VID對維表進行分析檢索，獲取滿足條件的RID集合；根據需要，利用RID集合從對應的事實表中獲取原始數據。