[發明專利]一種數據處理的方法、裝置及系統

在審

• 申請號: 201310248208.0
• 申請日: 2013-06-21
• 公開（公告）號: CN104243531A
• 公開（公告）日: 2014-12-24
• 發明（設計）人: 李亞;崔慧敏;馮曉兵
• 申請（專利權）人: 華為技術有限公司;中國科學院計算技術研究所
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 唐華明

技術領域

本發明涉及數據處理技術領域，具體涉及一種數據處理的方法、裝置及系統。

背景技術

隨著互聯網信息量的迅速上升，對于大型的互聯網企業和門戶網站來說，對海量信息進行存儲和處理以及對海量數據進行數據挖掘和統計分析是一件非常必要的事情。為了應對這種需求，云計算作為一種新的計算服務被提出來。

當前，絕大多數云計算系統采用映射化簡（MapReduce）的模型開發應用程序。簡單來說，MapReduce框架將要處理的海量數據分割成較小的輸入文件數據，作業被劃分成與輸入數據塊數目等同的映射（Map）任務和若干化簡（Reduce）任務。由調度控制節點將這些Map任務和Reduce任務調度到有空閑資源數據處理節點上執行。它將數據文件按塊均勻的分布在數據處理節點上，優先使處理劃分在本地磁盤上的數據，當本地磁盤的數據處理結束后，“偷竊取”其他任務的數據來處理。

本發明的發明人發現，現有的集群架構中，處理能力強的數據處理節點頻繁竊取處理能力弱的集群結點的任務，造成了網絡擁堵。

發明內容

本發明實施例提供一種數據處理的方法，可以根據數據處理節點的處理能力，動態均衡每個數據處理節點的數據分配量，從而降低了網絡擁堵。本發明還提供了相應的裝置及系統。

本發明第一方面提供一種數據處理的方法，包括：

根據每個數據處理節點上報的已處理數據的數據量確定所述每個數據處理節點的處理數據的能力參數；

根據所述每個數據處理節點處理數據的能力參數，制定對已分配給所述每個數據處理節點的待處理數據的調整策略；

向所述每個數據處理節點中的至少一個數據處理節點發送數據遷移指令，所述數據遷移指令中攜帶所述調整策略，以使所述至少一個數據處理節點根據所述調整策略調整所述待處理數據。

結合第一方面，在第一種可能的實現方式中，所述根據所述每個數據處理節點處理數據的能力參數，制定對已分配給所述每個數據處理節點的待處理數據的調整策略，包括：

根據所述每個數據處理節點處理數據的能力參數，計算所述每個數據處理節點處理數據的平均能力參數；

根據所述每個數據處理節點處理數據的能力參數和所述每個數據處理節點處理數據的平均能力參數，計算所述每個數據處理節點的數據遷移因子；

根據所述每個數據處理節點的數據遷移因子，確定能力參數低于所述平均能力參數的數據處理節點的數據遷出量和能力參數高于所述平均能力參數的數據處理節點的數據遷入量；

對應的，所述向所述每個數據處理節點中的至少一個數據處理節點發送數據遷移指令，所述數據遷移指令中攜帶所述調整策略，以使所述至少一個數據處理節點根據所述調整策略調整所述待處理數據，包括：

向所述每個數據處理節點中的至少一個數據處理節點發送數據遷移指令，所述數據遷移指令中攜帶所述數據遷出量或者所述數據遷入量，以使能力參數低于所述平均能力參數的數據處理節點遷出所述數據遷出量的數據或者使所述能力參數高于所述平均能力參數的數據處理節點遷入所述數據遷入量的數據。

結合第一方面或第一方面第一種可能的實現方式，在第二種可能的實現方式中，所述方法還包括：

接收處于空閑狀態的數據處理節點發送的數據竊取請求，所述處于空閑狀態的數據處理節點為按照所述調整策略調整待處理數據后，處理完所述調整后的待處理數據的數據處理節點；

根據所述數據竊取請求，制定數據竊取策略，所述數據竊取策略用于指示所述處于空閑狀態的數據處理節點從調度控制節點指定的數據處理節點竊取所述調度控制節點指定的竊取量的數據，所述竊取量為所述調度控制節點根據發送數據竊取請求的數據處理節點的處理數據的能力參數制定的竊取數據量；

向所述處于空閑狀態的數據處理節點發送數據竊取指示消息，所述數據竊取指示消息中攜帶數據竊取策略。

結合第一方面第二種可能的實現方式，在第三種可能的實現方式中，所述制定數據竊取策略，包括：

確定與所述處于空閑狀態的數據處理節點處于同一機架中的，且數據處理的能力參數低于所述處于空閑狀態的數據處理節點數據處理的能力參數的所有數據處理節點；

從所述所有數據處理節點中選擇數據處理的能力參數最低的數據處理節點作為所述指定的數據處理節點，并指定從所述指定的數據處理節點竊取數據的竊取量。

結合第一方面第二種可能的實現方式，在第四種可能的實現方式中，所述制定數據竊取策略，包括：

確定數據處理的能力參數最低的數據處理節點；