[發明專利]一種基于統一視圖的行列混合數據存儲模型的建立方法有效
| 申請號： | 201510033610.6 | 申請日： | 2015-01-22 |
| 公開（公告）號： | CN104657426B | 公開（公告）日： | 2018-07-03 |
| 發明（設計）人： | 王遠;陳亮;吳鵬;王為民 | 申請（專利權）人： | 江蘇瑞中數據股份有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 南京知識律師事務所 32207 | 代理人： | 汪旭東 |
| 地址： | 210003 江*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 事實表 存儲 存儲模型 混合數據 數據抽象 索引表 維度 星型 行列 原始數據結構 按行存儲 存儲空間 屏蔽數據 數據重組 維度分析 應用開發 敏感 列存儲 異構性 構建 統一 應用 壓縮 | ||
1.一種基于統一視圖的行列混合數據存儲模型的建立方法，其特征在于，包括如下步驟：
基于原始數據結構進行數據抽象，從原始記錄中，標識出需要進行列式存儲的列；
對所述需要列式存儲的列進行維度分析，為每一列建立對應的維度值索引表，所述維度值索引表包含兩列：原始值以及對應的值標識，所述值標識記為VID；
將原始數據表視為事實表，將需要列式存儲的列視為維度表，建立星型模型；
對所述事實表進行加工，對每條原始記錄生成唯一的記錄標識，記為RID；
對所述維度表進行加工，依據所述維度值索引表將對應的維度表更改為兩列結構：<RID,VID>，并建立對應的索引；
進行數據重組，對已入庫數據進行數據重組，將原始數據表分成兩個部分：事實表和維表，該事實表不包含維表相關列，且該事實表按行存儲，將維表、維度值索引表按列存儲；對于新增數據，將依據星型模型進行處理后，再入庫。
2.根據權利要求1所述的方法，其特征是在數據抽象時，將在傳統實體關系模型中需要建立索引的列進行顯著標識。
3.根據權利要求1所述的方法，其特征是在對所述需要列式存儲的列進行維度分析時，對所述維度值索引表的兩列建立對應的B-TREE索引，分別記為DVI和VII。
4.根據權利要求3所述的方法，其特征是所述DVI用于構建維表，所述VII用于查詢分析結果往原始值的映射。
5.根據權利要求1或2或3所述的方法，其特征是所述值標識VID為32位無符號數。
6.根據權利要求5所述的方法，其特征是對所述維度表進行加工時，使用VID可節省存儲，降低查詢分析的I/O開銷與內存消耗。
7.根據權利要求1到4中任意一項所述的方法，其特征是在進行數據重組時，將列存數據與行存數據分開存儲到不同的存儲介質中。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于江蘇瑞中數據股份有限公司，未經江蘇瑞中數據股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201510033610.6/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：結構化查詢語句生成系統及方法
- 下一篇：一種web緩存的更新方法
