[發明專利]多維度分組運算方法及系統

在審

• 申請號: 201310086336.X
• 申請日: 2013-03-18
• 公開（公告）號: CN104063376A
• 公開（公告）日: 2014-09-24
• 發明（設計）人: 鄭博文;袁俊強
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

1.一種對海量數據的多維度分組運算方法，包括：

對海量數據以分布式進行分片以形成多個數據分片；

在每個數據分片中，按照每個維度對數據創建索引，將創建的多個所述索引生成為索引文件；

在每個數據分片中，使用所述索引文件對所述數據進行在線多維度分組運算；以及

對所述每個數據分片的運算結果進行合并運算。

2.根據權利要求1所述的方法，還包括：

接收來自用戶端的與預定多個維度相關的查詢請求，并將所述查詢請求發送到每個數據分片中；以及

將所述合并運算的結果返回給用戶端，

在每個數據分片中，使用所述索引文件對所述數據進行在線多維度分組運算是按照所述查詢請求進行的。

3.根據權利要求2所述的方法，其中，所述每個數據分片具有多個文檔，

所述在線多維度分組運算包括：

在每個數據分片中，從所述索引文件中獲取多個與所述預定多個維度中的每個維度對應的枚舉值表；

建立所述預定多個維度的分組結果和與所述查詢請求對應的運算結果之間的對應關系；

按照每個所述文檔的序號，從多個所述枚舉值表中分別獲取與所述預定多個維度對應的維度值，并將獲取到的多個所述維度值進行維度組合；

使用所述對應關系，根據維度組合的結果來計算所述與所述查詢請求對應的運算結果。

4.根據權利要求3所述的方法，其中，所述在線多維度分組運算還包括：對與所述查詢請求對應的運算結果進行排序的步驟。

5.根據權利要求1所述的方法，其中，在所述對海量數據以分布式進行分片的步驟中，使用MurmurHash運算將海量數據劃分為多個數據分片。

6.根據權利要求1所述的方法，其中，所述索引是按照每個維度生成的倒排詞表。

7.根據權利要求6所述的方法，其中，所述倒排詞表中存儲有每個維度值與所述文檔的序號之間的映射關系。

8.一種對海量數據的多維度分組運算系統，包括：

數據分片裝置，被配置成對海量數據以分布式進行分片以形成多個數據分片；

索引生成裝置，被配置成在每個數據分片中，按照每個維度對數據創建索引，將創建的多個所述索引生成為索引文件；

運算裝置，被配置成在每個數據分片中使用所述索引文件對所述數據進行在線多維度分組運算；以及

合并裝置，被配置成對所述每個數據分片的運算結果進行合并運算。

9.根據權利要求8所述的系統，還包括：

接收裝置，被配置成接收來自用戶端的與預定多個維度相關的查詢請求，并將所述查詢請求發送到每個數據分片中；以及

發送裝置，被配置成將所述合并運算的結果返回給用戶端，

所述運算裝置按照所述查詢請求進行多維度分組運算。

10.根據權利要求9所述的系統，其中，所述每個數據分片具有多個文檔，

所述運算裝置包括：

獲取裝置，被配置成在每個數據分片中，從所述索引文件中獲取多個與所述預定多個維度中的每個維度對應的枚舉值表；

建立裝置，被配置成建立所述預定多個維度的分組結果和與所述查詢請求對應的運算結果之間的對應關系；

組合裝置，被配置成按照每個所述文檔的序號，從多個所述枚舉值表中分別獲取與所述預定多個維度對應的維度值，并將獲取到的多個所述維度值進行維度組合；

計算裝置，被配置成使用所述對應關系，根據維度組合的結果來計算所述與所述查詢請求對應的運算結果。

11.根據權利要求10所述的系統，其中，所述運算還包括用于對與所述查詢請求對應的運算結果進行排序的排序裝置。

12.根據權利要求8所述的系統，其中，所述數據分片裝置使用MurmurHash運算將海量數據劃分為多個數據分片。

13.根據權利要求8所述的系統，其中，所述索引是按照每個維度生成的倒排詞表。

14.根據權利要求13所述的系統，其中，所述倒排詞表中存儲有每個維度值與文檔的序號之間的映射關系。