[發明專利]一種對大數據進行處理的方法和裝置

在審

• 申請號: 201410836226.5
• 申請日: 2014-12-26
• 公開（公告）號: CN105786938A
• 公開（公告）日: 2016-07-20
• 發明（設計）人: 王曉麗
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 羅振安

1.一種對大數據進行處理的方法，其特征在于，所述方法包括：

獲取多個鍵值對集合，所述鍵值對集合包括至少一個鍵值對，鍵值對中的 鍵和值分別為待處理的大數據中的兩個子數據，且所述兩個子數據之間存在預 設數據關系，所述鍵值對集合中的各鍵值對中的取模余數都相同；

分別計算每個鍵值對集合中包括的各值之和，得到所述每個鍵值對集合包 括的值的總值；

獲取Reduce處理模塊集合中的每個Reduce處理模塊的負載情況；

根據所述每個鍵值對集合中包括的值的總值和所述每個Reduce處理模塊的 負載情況，分別為所述每個Reduce處理模塊分配對應的鍵值對集合；

通過所述每個Reduce處理模塊分別對分配到的所述鍵值對集合進行處理。

2.根據權利要求1所述的對大數據進行處理的方法，其特征在于，所述獲 取多個鍵值對集合步驟包括：

通過Map處理模塊對所述大數據進行處理，得到多個所述鍵值對；

根據預先設置的取模系數，分別對得到的多個所述鍵值對的鍵進行取模操 作，分別得到多個所述鍵值對的取模余數；

將取模余數相同的多個所述鍵值對分配到一個鍵值對集合中，形成所述多 個鍵值對集合。

3.根據權利要求2所述的對大數據進行處理的方法，其特征在于，所述取 模系數＝Reduce處理模塊數量×取模因子，所述取模因子是預先確定的。

4.根據權利要求1所述的對大數據進行處理的方法，其特征在于，所述根 據所述每個鍵值對集合中包括的值的總值和所述每個Reduce處理模塊的負載情 況，分別為所述每個Reduce處理模塊分配對應的鍵值對集合步驟包括：

確定當前所述鍵值對集合的分配次數；

根據確定的當前所述鍵值對集合的分配次數，找到與所述分配次數對應的 所述鍵值對集合的分配比例，所述分配次數與所述鍵值對集合的分配比例的對 應關系是預先設定的；

根據得到的所述鍵值對集合的分配比例，從多個所述鍵值對集合中獲取相 應數量的所述鍵值對集合；

根據按照分配比例獲取到的所述每個鍵值對集合中包括的值的總值和所述 每個Reduce處理模塊的負載情況，分別為所述每個Reduce處理模塊分配對應 的鍵值對集合。

5.根據權利要求4所述的對大數據進行處理的方法，其特征在于，所述根 據按照分配比例獲取到的所述每個鍵值對集合中包括的值的總值和所述每個 Reduce處理模塊的負載情況，分別為所述每個Reduce處理模塊分配對應的鍵值 對集合步驟包括：

按照對負載較輕的所述Reduce處理模塊分配總值較大的所述鍵值對集合的 分配規則，分別為所述每個Reduce處理模塊分配對應的鍵值對集合。

6.一種對大數據進行處理的裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取多個鍵值對集合，所述鍵值對集合包括至少一個 鍵值對，鍵值對中的鍵和值分別為待處理的大數據中的兩個子數據，且所述兩 個子數據之間存在預設數據關系，所述鍵值對集合中的各鍵值對中的取模余數 都相同；

計算模塊，用于分別計算每個鍵值對集合中包括的各值之和，得到所述每 個鍵值對集合包括的值的總值；

第二獲取模塊，用于獲取Reduce處理模塊集合中的每個Reduce處理模塊 的負載情況；

分配模塊，用于根據所述每個鍵值對集合中包括的值的總值和所述每個 Reduce處理模塊的負載情況，分別為所述每個Reduce處理模塊分配對應的鍵值 對集合；

處理模塊，用于通過所述每個Reduce處理模塊分別對分配到的所述鍵值對 集合進行處理。