[發明專利]一種基于多維漸增數據模型的數據查詢方法

有效

• 申請號: 201610005893.8
• 申請日: 2016-01-06
• 公開（公告）號: CN105677840B
• 公開（公告）日: 2019-02-05
• 發明（設計）人: 宋杰;何虹燕;張莉;張一川
• 申請（專利權）人: 東北大學
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 梁焱

本發明一種基于多維漸增數據模型的數據查詢方法，屬于數據查詢技術領域，本發明將某些頻繁出現的鍵建立成為集合空間中的維，并根據值(value)在維上進行分段，而對于那些出現次數較少的鍵定義為平凡鍵，通過這樣的方式，所有的數據都會被組織成一個高維的模型，簡稱為key?cube(鍵立方)；在查詢過程中，符合查詢條件的數據會被鎖定在相關的cell(單元格)之中，因此查詢的范圍大大的減小了；其次這個數據模型具有一定的適應性會根據數據中鍵值對出現的次數從而做出相應的反應；這個key?cube是漸增式的，隨著鍵值中數據的增多，此模型會根據鍵的頻繁程度拓展出新的維，從而形成新的key?cube。

技術領域

本發明屬于數據查詢技術領域，具體涉及一種基于多維漸增數據模型的數據查詢方法。

背景技術

近些年，隨著互聯網技術的迅猛發展與數據采集技術的不斷提高，人們可獲得的數據量越來越大，然而隨著如此海量數據的出現，傳統的關系型數據庫已經不能滿足人們對拓展性以及可伸縮性的需求，尤其是在應付web2.0網站，特別是超大規模和高并發的SNS類型的web2.0純動態網站方面，傳統的關系型數據庫已經顯得力不從心，暴露了很多難以克服的問題。因此研究者們強調找到一個有效的，成本低廉的，有著良好并行性和伸縮性的方式來存儲這些海量的數據；經研究調查，目前來說，在工業和學術界廣泛接受的是一種新型的非關系型數據庫；與傳統的基于行存儲的數據庫相比，它采取基于列的存儲方式，不需要事先定義數據模式，預定義表結構，此外制表，列族或者列簇為它的基本數據模型。在這個模型中，一條記錄或者數據被一系列鍵值對的集合來表示；然而，在這種情況下，當數據量達到TB甚至PB級的時候，數據的查詢效率，以及數據查詢的實時性仍然是我們所面臨的一個巨大的挑戰。

最近幾年，為解決對海量數據中查詢效率以及性能的問題，不同的大型數據庫提出了層次結構；例如基于DHT的P2P系統。它使用的是兩層架構，一層是為了資源共享，另一層是為了資源發現，以便加速多維數據查詢的過程；但是這個方法依賴于一個具有順序的hash函數，和一個較小數量的P2P節點來存儲數據；由于被分配到節點數據都會降低它的維度到一維空間，因此P2P的節點上散布著一維數據的取值范圍；隨后作者也提出了一個多維查詢算法，在一個穩定的網絡環境下，該模型能夠表現出良好的性能，但是在實際情況下，真實的網絡環境并不如實驗設想的那樣穩定，查詢效果并不像那樣理想。

發明內容

針對現有技術的不足，本發明提出一種基于多維漸增數據模型的數據查詢方法，以達到提高查詢效率并優化查詢時間目的。

一種基于多維漸增數據模型的數據查詢方法，具體包括以下步驟：

步驟1、確定出數據庫中高頻率的屬性類型，并根據所確定的屬性類型建立多維漸增數據模型；

步驟2、對多維漸增數據模型中的每一維屬性的值進行分段，包括空段、溢出段和合理段；

步驟3、將數據庫中每一條記錄中的數據按照每一維屬性的分段進行劃分，若某一段中數據量大于設定值，則對該段再進行下一層的分段，若每一段中的數據量均小于設定值，則停止分段；

步驟4、根據每個維所劃分的段，在多維漸增數據模型中構成單元格，并將單元格各段的索引按照建維順序進行線性化，將線性化后的數據作為單元格的標識號；

步驟5、當有新的數據導入數據庫時，更新多維漸增數據模型；

步驟6、根據實際所需查詢的屬性類型，在當前多維漸增數據模型中查詢所需屬性的標識號，即獲得對應單元格的所有數據；

步驟7、根據查詢所獲的數據采用回溯操作的方式查詢歷史數據，具體包括：

步驟7-1、對多維漸增數據模型的維進行回溯，獲得每次更新時和初始時多維漸增數據模型的對應單元格；

步驟7-2、在所獲的單元格中對各段進行回溯，即由子段尋找父段；