[發明專利]一種基于關聯特性的多維元數據管理方法和系統

有效

• 申請號: 201310090042.4
• 申請日: 2013-03-20
• 公開（公告）號: CN103218404A
• 公開（公告）日: 2013-07-24
• 發明（設計）人: 華宇;黃大彰;馮丹;劉進軍;聶振華;蔡娟
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 朱仁玲

1.一種基于關聯特性的多維元數據管理方法，其特征在于，包括以下步驟：

(1)在元數據服務器集群中，對每臺元數據服務器上的元數據根據關聯特性進行劃分，以生成元數據集合與集合統計文件；

(2)根據集合統計文件，對元數據集群進行分組操作，以生成多個元數據服務器分組與分組配置文件；

(3)根據集合統計文件，分別在每臺元數據服務器上建立本地索引表；本地索引表用于管理每臺元數據服務器上的元數據集合，索引表中每一項記錄了集合統計文件中的元數據集合編號，以及該元數據集合編號對應的元數據集合在磁盤中的存儲地址；

(4)根據分組配置文件與集合統計文件，分別在每個元數據服務器分組內建立組索引表；

(5)根據組索引表，建立元數據服務器集群的頂層索引表；

(6)接收來自用戶的查詢請求，并根據查詢請求依次查詢頂層索引表、組索引表與本地索引表，并返回查詢結果；其中用戶查詢請求包括點查詢、范圍查詢和TopK查詢。

2.根據權利要求1所述的多維元數據管理方法，其特征在于，步驟(1)包括以下子步驟：

(1-1)確定表示每臺元數據服務器上元數據之間關聯特性的多維屬性；

(1-2)將元數據的多維屬性構造成固定長度的輸入向量，該輸入向量作為位置靈敏哈希函數的輸入值；

(1-3)使用相同的位置靈敏哈希函數對輸入向量進行哈希計算，得到的哈希值作為該輸入向量對應的元數據的唯一標識；

(1-4)將具有相同哈希值的元數據劃分到同一元數據集合中，并以該哈希值作為該元數據集合的編號；

(1-5)統計元數據集合中元數據的劃分情況，以生成集合統計文件；該集合統計文件包括元數據集合編號、元數據數目、各維屬性平均值、各維屬性范圍，其中元數據集合編號范圍為1,2,3，…，N，N表示位置靈敏哈希函數中哈希表的長度。

3.根據權利要求1所述的多維元數據管理方法，其特征在于，步驟(2)具體為，在每臺元數據服務器上構建一個位向量，該位向量的長度與步驟(1)中位置靈敏哈希函數使用的哈希表長度相同，其后，根據所有元數據服務器的位向量兩兩之間的海明距離并利用層次聚類算法在元數據服務器之間進行聚類操作，以得到元數據服務器的分組，當聚類形成的分組數目達到下限，或者分組之間的距離到達了上限，則停止聚類操作，從而得到多個元數據服務器組，并將結果保存在分組配置文件中。

4.根據權利要求1所述的多維元數據管理方法，其特征在于，步驟(4)具體為，對于分組配置文件中的每個分組，分別構建對應的組索引表，組索引表中的每一項記錄該分組中所有元數據服務器上元數據集合的信息，包括元數據集合編號、元數據集合所在元數據服務器的IP地址、元數據數目、各維屬性平均值、各維屬性范圍。

5.根據權利要求1所述的多維元數據管理方法，其特征在于，步驟（6）中的點查詢操作具體包括以下步驟：

(6-1-1)接收點查詢請求，確定該查詢請求對應的元數據的多維屬性，并利用位置靈敏哈希函數計算多維屬性的哈希值，該哈希值即為需要查詢的元數據集合的編號；

(6-1-2)在頂層索引表中查詢元數據集合編號對應的表項，以得到該元數據所在元數據服務器分組的IP地址；

(6-1-3)根據元數據服務器分組的IP地址確定對應的元數據服務器，并在該元數據服務器的組索引表中查詢元數據集合編號對應的表項，以得到該元數據所在元數據服務器的IP地址；

(6-1-4)根據查找到的元數據服務器的IP地址，在該元數據服務器的組索引表中查詢元數據集合編號對應的表項，以得到該元數據所在元數據集合在磁盤中的存儲地址；

(6-1-5）根據查找到的元數據集合在磁盤中的存儲地址，查詢對應的元數據集合，并返回查詢結果。