[發明專利]一種數據處理的方法、裝置及系統

在審

• 申請號: 201310248208.0
• 申請日: 2013-06-21
• 公開（公告）號: CN104243531A
• 公開（公告）日: 2014-12-24
• 發明（設計）人: 李亞;崔慧敏;馮曉兵
• 申請（專利權）人: 華為技術有限公司;中國科學院計算技術研究所
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 唐華明

1.一種數據處理的方法，其特征在于，包括：

根據每個數據處理節點上報的已處理數據的數據量確定所述每個數據處理節點的處理數據的能力參數；

根據所述每個數據處理節點處理數據的能力參數，制定對已分配給所述每個數據處理節點的待處理數據的調整策略；

向所述每個數據處理節點中的至少一個數據處理節點發送數據遷移指令，所述數據遷移指令中攜帶所述調整策略，以使所述至少一個數據處理節點根據所述調整策略調整所述待處理數據。

2.根據權利要求1所述的方法，其特征在于，所述根據所述每個數據處理節點處理數據的能力參數，制定對已分配給所述每個數據處理節點的待處理數據的調整策略，包括：

根據所述每個數據處理節點處理數據的能力參數，計算所述每個數據處理節點處理數據的平均能力參數；

根據所述每個數據處理節點處理數據的能力參數和所述每個數據處理節點處理數據的平均能力參數，計算所述每個數據處理節點的數據遷移因子；

根據所述每個數據處理節點的數據遷移因子，確定能力參數低于所述平均能力參數的數據處理節點的數據遷出量和能力參數高于所述平均能力參數的數據處理節點的數據遷入量；

對應的，所述向所述每個數據處理節點中的至少一個數據處理節點發送數據遷移指令，所述數據遷移指令中攜帶所述調整策略，以使所述至少一個數據處理節點根據所述調整策略調整所述待處理數據，包括：

向所述每個數據處理節點中的至少一個數據處理節點發送數據遷移指令，所述數據遷移指令中攜帶所述數據遷出量或者所述數據遷入量，以使能力參數低于所述平均能力參數的數據處理節點遷出所述數據遷出量的數據或者使所述能力參數高于所述平均能力參數的數據處理節點遷入所述數據遷入量的數據。

3.根據權利要求1或2所述的方法，其特征在于，所述方法還包括：

接收處于空閑狀態的數據處理節點發送的數據竊取請求，所述處于空閑狀態的數據處理節點為按照所述調整策略調整待處理數據后，處理完所述調整后的待處理數據的數據處理節點；

根據所述數據竊取請求，制定數據竊取策略，所述數據竊取策略用于指示所述處于空閑狀態的數據處理節點從調度控制節點指定的數據處理節點竊取所述調度控制節點指定的竊取量的數據，所述竊取量為所述調度控制節點根據發送數據竊取請求的數據處理節點的處理數據的能力參數制定的竊取數據量；

向所述處于空閑狀態的數據處理節點發送數據竊取指示消息，所述數據竊取指示消息中攜帶數據竊取策略。

4.根據權利要求3所述的方法，其特征在于，所述制定數據竊取策略，包括：

確定與所述處于空閑狀態的數據處理節點處于同一機架中的，且數據處理的能力參數低于所述處于空閑狀態的數據處理節點數據處理的能力參數的所有數據處理節點；

從所述所有數據處理節點中選擇數據處理的能力參數最低的數據處理節點作為所述指定的數據處理節點，并指定從所述指定的數據處理節點竊取數據的竊取量。

5.根據權利要求3所述的方法，其特征在于，所述制定數據竊取策略，包括：

確定數據處理的能力參數最低的數據處理節點；

當所述數據處理的能力參數最低的數據處理節點有多個時，選擇與所述處于空閑狀態的數據處理節點處于同一機架中的，且數據處理的能力參數最低的數據處理節點作為所述指定的數據處理節點，并指定從所述指定的數據處理節點竊取數據的竊取量。

6.根據權利要求3所述的方法，其特征在于，所述制定數據竊取策略，包括：

確定數據處理的能力參數低于預置閾值的所有數據處理節點；

從所述所有數據處理節點中選擇數據處理的能力參數最低的數據處理節點作為所述指定的數據處理節點，并指定從所述指定的數據處理節點竊取數據的竊取量。

7.一種數據處理的方法，其特征在于，包括：

向調度控制節點發送本數據處理節點已處理數據的數據量，以使所述調度控制節點根據所述已處理數據的數據量確定所述本數據處理節點的處理數據的能力參數；

接收所述調度控制節點發送的數據遷移指令，所述數據遷移指令中攜帶調整策略；

根據所述調整策略調整待處理數據。