[發明專利]數據索引方法及裝置

有效

• 申請號: 201210356475.5
• 申請日: 2012-09-24
• 公開（公告）號: CN102890714A
• 公開（公告）日: 2013-01-23
• 發明（設計）人: 楊建洲;王新宇
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環專利代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

技術領域

本發明涉及數據索引技術領域，具體涉及數據的索引方法及裝置。

背景技術

隨著商業智能（Business?Intelligent）的發展，在電信業務質量管理、網絡性能管理、互聯網應用分析等多種領域需要對海量數據進行快速統計以及索引，一般的單維索引技術已經滿足不了對海量數據進行快速存儲、統計以及索引的高要求。

目前，采用分布式存儲系統（Hadoop?Database）的數據索引技術解決了海量數據的索引問題，主要通過對海量數據進行區域劃分建立索引數據，并以列存儲形式存儲在不同的域存儲器上，依據單維索引技術索引數據。基于分布式存儲系統（Hadoop?Database）的數據建立的單維索引技術只能建立有限的索引數據，大量的索引數據必須在外部存儲介質上存儲。而且單維索引技術無法滿足多維分析以及多維索引組合查詢的需求，增加大量數據后單維索引速度存在衰減，繼而不能快捷方便地查詢目標數據，應用普遍性受限。因此，為了滿足海量數據的快速統計以及索引，多維索引技術成為新的研究方向。

發明內容

鑒于此，本發明實施例提供了一種數據索引方法及裝置，解決了單位索引應用普遍性受限，索引效率低的問題。

本發明實施例一方面提供的一種數據索引方法，包括：

獲取與N個維度對應的、且相互獨立的N個單維索引；所述N大于等于2；

判斷所述N個單維索引中包含的地址記錄是否有交集；

若有交集，則獲取所述交集對應的地址記錄所指向的數據作為索引目標數據。

作為一種可選的實施方式，所述判斷所述N個單維索引中包含的地址記錄是否有交集包括以下步驟：

判斷所述N個單維索引中包含的地址記錄是否存在相同地址記錄；

若存在，則確認所述N個單維索引中包含的地址記錄有交集。

作為一種可選的實施方式，所述判斷所述N個單維索引包含的地址記錄是否存在相同地址記錄包括以下步驟：

根據N個維度獲取所述N個維度相對應的單維索引的地址記錄；

對所述地址記錄對應的標簽數標志位的計數值加1；

判斷所述地址記錄對應的標簽數標志位的計數值是否等于所述N；

如果是，則選取所述地址記錄對應的標簽數標志位的計數值等于所述N的地址記錄作為相同地址記錄。

作為一種可選的實施方式，所述判斷所述N個單維索引包含的地址記錄是否存在相同地址記錄包括以下步驟：

A、從所述N個單維索引中獲取第K個單維索引作為當前單維索引，其中，K小于所述N且K大于零；

B、獲取所述當前單維索引的地址記錄；

C、對與所述地址記錄相對應的標簽數標志位的計數值加1；

D、從所述N個單維索引中獲取第K+1個單維索引，作為當前單維索引；

E、判斷K+1是否等于N；如果不等于N則執行步驟B；

F、根據K+1等于N的結果，則獲取第N個單維索引的地址記錄；

G、判斷所述第N個單維索引的地址記錄相對應的標簽數標志位的計數值是否等于N-1；

H、如果是，則選取所述第N個單維索引的地址記錄相對應的標簽數標志位的計數值等于N-1的所述地址記錄，作為相同地址記錄。

作為一種可選的實施方式，對與所述地址記錄相對應的標簽數標志位進行計數之前，所述方法還包括：

初始化清零與所述地址記錄對應的標簽數標志位的計數值。

作為一種可選的實施方式，所述獲取與N個維度對應的、且相互獨立的N個單維索引之前，所述方法還包括：

根據元數據將若干數據進行分區存儲，生成i個分區存儲區；

根據分類標準對每個分區存儲區中的數據建立互相獨立的單維索引；

存儲所述每個分區存儲區及所述每個分區存儲區對應包含的單維索引至相同的存儲處理節點上，以生成包含i個不同存儲處理節點的索引表。

作為一種可選的實施方式，所述索引表包含鍵值表和地址分配表，所述地址分配表記錄了每個單維索引的鍵值對應的地址記錄，所述鍵值表包括每個單維索引的鍵值及與所述鍵值對應的存儲地址，與所述鍵值對應的存儲地址用于指向所述鍵值對應的地址記錄；

所述地址記錄表示數據記錄在分區存儲區中的偏移位置，包括記錄號和記錄長度。

作為一種可選的實施方式，所述鍵值表的存儲方式包括有序線性存儲方式或者二叉樹存儲方式。

作為一種可選的實施方式，所述地址分配表的存儲方式采用分塊存儲方式。