[發明專利]面向海量數據的分布式處理方法

有效

• 申請號: 201110424530.5
• 申請日: 2011-12-16
• 公開（公告）號: CN102521367A
• 公開（公告）日: 2012-06-27
• 發明（設計）人: 楊廣文;耿益鋒;黃小猛
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

1.一種面向海量數據的分布式處理方法，其特征在于，包括以下步驟：

S1：根據SQL命令以及數組文件內的變量信息計算輸出變量和條件變量集合中的主變量，如果主變量存在，執行步驟S2，其中，所述數組文件是以數組形式存儲的數據文件；

S2：判斷是否進行條件變量的選擇優化，如果否，那么在讀取數據時，遍歷數組文件中的主變量的整個索引范圍；如果是，那么先根據條件變量的選擇范圍計算輸出變量的維度范圍，并根據該維度范圍讀取數據；

S3：判斷數組是否合并存儲，如果否，那么讀取數組組成數據元組；如果是，那么不展開讀取的數據，且生成另一個數據元組，所生成的數據元組中每一個單元都包含該列對應變量的數據值的集合；

S4：SQL引擎根據SQL命令以及表中定義的各列的數據類型生成MapReduce任務接收到的數據元組，并生成結果數據元組；

S5：對于生成的結果數據元組，判斷是否需要將其以數組文件存儲，如果否，那么就按照保存為其他文件格式的方法處理該結果數據元組；如果是，那么判斷結果數據元組中的數組是否被合并存儲，如果未被合并存儲，則遍歷結果數據的行，每一列生成一個變量的數組，并按照表中定義的列的數據類型將數組存儲到數組文件，如果已被合并存儲，那么將結果數據元組中每個單元的內容取出作為一個變量數組，并按照表中定義的列的數據類型將數組存儲到數組文件。

2.如權利要求1所述的方法，其特征在于，步驟S3中，如果數據不進行合并存儲，則所述數據元組的個數取決于主變量的維度范圍，每個數據元組包含輸出變量和條件變量在當前主變量索引處的值。

3.如權利要求1或2所述的方法，其特征在于，所述海量數據包括多個所述數據文件。