[發明專利]一種對大數據進行處理的方法和裝置

在審

• 申請號: 201410836226.5
• 申請日: 2014-12-26
• 公開（公告）號: CN105786938A
• 公開（公告）日: 2016-07-20
• 發明（設計）人: 王曉麗
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 羅振安

技術領域

本發明涉及數據處理領域，特別涉及一種對大數據進行處理的方法和裝置。

背景技術

大數據就是一種包含大量數據的數據集，這些數據可以稱為是大數據的子 數據，在大數據中只有少量的子數據對用戶具有較高的價值。為了方便用戶瀏 覽大數據，目前可以對大數據進行處理，將大數據中包含的價值較高的子數據 優先提供給用戶。例如，在搜索引擎領域中，搜索引擎根據用戶輸入的關鍵詞 搜索出眾多搜索結果，該眾多搜索結果便組成了一個大數據，搜索引擎通過對 該大數據進行處理，得到對用戶價值較高的搜索結果并優先提供給用戶。

目前可以通過如下過程來對大數據進行處理，包括：通過映射(英文：Map) 模塊對待處理的大數據進行Map處理并輸出大數據中的子數據對應的至少一個 鍵值對，子數據對應的鍵值對中的鍵為該子數據，值為大數據中的與該鍵之間 存在預設關系的其他一子數據。然后將包含鍵相同的各鍵值對分配給一規約(英 文：Reduce)處理模塊集合中的一Reduce處理模塊，由該Reduce處理模塊對這 些鍵值對中的值進行處理，并輸出該鍵的價值度，該鍵為一子數據，即得到該 子數據的價值度，按上述方法可以得到大數據中的每個子數據的價值度，價值 度越高的子數據，對用戶越有價值，根據價值度向用戶顯示大數據中包括的子 數據。

在實現本發明的過程中，發明人發現現有技術至少存在以下問題：

目前根據鍵值對的鍵來將各鍵值對分配到各Reduce處理模塊中，可能會造 成各Reduce處理模塊的負載不均衡。

發明內容

為了解決現有技術的問題，本發明實施例提供了一種對大數據進行處理的 方法和裝置。所述技術方案如下：

第一方面，本發明實施例提供了一種對大數據進行處理的方法，所述方法 包括：

獲取多個鍵值對集合，所述鍵值對集合包括至少一個鍵值對，鍵值對中的 鍵和值分別為待處理的大數據中的兩個子數據，且所述兩個子數據之間存在預 設數據關系，所述鍵值對集合中的各鍵值對中的取模余數都相同；

分別計算每個鍵值對集合中包括的各值之和，得到所述每個鍵值對集合包 括的值的總值；

獲取Reduce處理模塊集合中的每個Reduce處理模塊的負載情況；

根據所述每個鍵值對集合中包括的值的總值和所述每個Reduce處理模塊的 負載情況，分別為所述每個Reduce處理模塊分配對應的鍵值對集合；

通過所述每個Reduce處理模塊分別對分配到的所述鍵值對集合進行處理。

在第一方面的第一種可能的實現方式中，所述獲取多個鍵值對集合步驟包 括：

通過Map處理模塊對所述大數據進行處理，得到多個所述鍵值對；

根據預先設置的取模系數，分別對得到的多個所述鍵值對的鍵進行取模操 作，分別得到多個所述鍵值對的取模余數；

將取模余數相同的多個所述鍵值對分配到一個鍵值對集合中，形成所述多 個鍵值對集合。

與第一方面的第一種可能的實現方式相結合，在第一方面的第二種可能的 實現方式中，所述取模系數＝Reduce處理模塊數量×取模因子，所述取模因子是 預先確定的。

在第一方面的第三種可能的實現方式中，所述根據所述每個鍵值對集合中 包括的值的總值和所述每個Reduce處理模塊的負載情況，分別為所述每個 Reduce處理模塊分配對應的鍵值對集合步驟包括：

確定當前所述鍵值對集合的分配次數；

根據確定的當前所述鍵值對集合的分配次數，找到與所述分配次數對應的 所述鍵值對集合的分配比例，所述分配次數與所述鍵值對集合的分配比例的對 應關系是預先設定的；

根據得到的所述鍵值對集合的分配比例，從多個所述鍵值對集合中獲取相 應數量的所述鍵值對集合；

根據按照分配比例獲取到的所述每個鍵值對集合中包括的值的總值和所述 每個Reduce處理模塊的負載情況，分別為所述每個Reduce處理模塊分配對應 的鍵值對集合。

與第一方面的第三種可能的實現方式相結合，在第一方面的第四種可能的 實現方式中，根據按照分配比例獲取到的所述每個鍵值對集合中包括的值的總 值和所述每個Reduce處理模塊的負載情況，分別為所述每個Reduce處理模塊 分配對應的鍵值對集合步驟包括：