[發明專利]分布式數據處理方法、裝置及系統

有效

• 申請號: 201210077763.7
• 申請日: 2012-03-22
• 公開（公告）號: CN103324533A
• 公開（公告）日: 2013-09-25
• 發明（設計）人: 錢劍鋒;顏友亮
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

技術領域

本發明實施例涉及數據處理技術，尤其涉及一種分布式數據處理方法、裝置及系統。

背景技術

隨著互聯網技術的迅猛發展，海量數據時代已經來臨，如何對海量數據進行處理成為了必須要面對的嚴峻考驗。映射-化簡(Map-Reduce)系統是一種分布式的并行系統，通常應用于分布式海量數據處理場景。Map-Reduce系統通過映射(Map)和化簡(Reduce)過程實現對數據的分布式處理。

現有技術的Map-Reduce系統中，用于數據處理的工作節點通常為多個，客戶端將待處理的文件劃分為多個數據塊后，將數據塊分塊上傳至各個工作節點。但是，由于工作節點執行的Map任務所對應的多個數據塊并不一定全都存儲在該工作節點上，則需要將其他工作節點上的數據塊遷移到一個工作節點上，再對該節點上的數據塊執行Map任務。但由于Map-Reduce系統中處理的數據塊的容量都比較大，數據塊遷移過程會勢必造成網絡流量大的問題，影響了系統的計算效率。

發明內容

本發明實施例提供一種分布式數據處理方法、裝置及系統，以避免分布式數據處理過程中各工作節點間的數據遷移造成的網絡流量大的問題，提高系統的分布式數據處理效果。

本發明實施例提供一種分布式數據處理方法，包括：

根據獲取到的上傳節點指示信息和工作節點發送的任務獲取請求生成映射Map任務，其中，所述上傳節點指示信息包括多個數據塊分別對應的工作節點的地址，所述Map任務對應的數據塊分布在發送所述任務獲取請求的工作節點上；

將所述Map任務分配給所述工作節點，以使所述工作節點對所述Map任務對應的數據塊進行相應地處理。

本發明實施例提供一種分布式數據處理裝置，包括：

任務生成單元，用于根據獲取到的上傳節點指示信息和工作節點發送的任務獲取請求生成映射Map任務，其中，所述上傳節點指示信息包括多個數據塊分別對應的工作節點的地址，所述Map任務對應的數據塊分布在發送所述任務獲取請求的工作節點上；

任務分配單元，用于將所述Map任務分配給所述工作節點，以使所述工作節點對所述Map任務對應的數據塊進行相應地處理。

本發明實施例提供一種分布式數據處理系統，包括主節點和至少兩個工作節點，其中，

所述主節點為本發明提供的分布式數據處理裝置；

所述工作節點用于向所述主節點發送任務獲取請求，以及接收所述主節點分配的映射Map任務，對所述Map任務對應的數據塊進行相應地處理。

由上述技術方案可知，本發明提供的分布式數據處理方法、裝置及系統，主節點根據獲取到的上傳節點指示信息和工作節點發送的任務獲取請求生成Map任務，將Map任務分配給工作節點，以使工作節點對Map任務對應的數據塊進行相應地處理。由于Map任務是主節點在工作節點發送任務獲取請求時根據上傳節點指示信息生成的，該Map任務對應于該工作節點上的數據塊，因此，工作節點根據該Map任務對數據塊進行處理時，無需從其他工作節點進行數據塊的遷移，避免了分布式數據處理過程中各工作節點間的數據遷移造成的網絡流量大的問題，也避免了磁盤讀寫所占用的系統資源，提高系統的分布式數據處理效果。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例一提供的分布式數據處理方法流程圖；

圖2為本發明實施例一提供的數據塊分布示意圖；

圖3為本發明實施例二提供的分布式數據處理方法流程圖；

圖4為本發明實施例二提供的任務請求和分配示意圖；

圖5為本發明實施例二提供的一種數據塊結構示意圖；

圖6為本發明實施例二提供的另一種數據塊結構示意圖；

圖7為本發明實施例三提供的分布式數據處理裝置結構示意圖；

圖8為本發明實施例四提供的分布式數據處理裝置結構示意圖；

圖9為本發明實施例五提供的一種分布式數據處理系統結構示意圖；

圖10為本發明實施例五提供的另一種分布式數據處理系統結構示意圖。

具體實施方式