[發明專利]MapReduce分布式系統的文件遷移方法及設備

有效

• 申請號: 201310090660.9
• 申請日: 2013-03-20
• 公開（公告）號: CN103176843B
• 公開（公告）日: 2018-12-14
• 發明（設計）人: 潘瑾瑜
• 申請（專利權）人: 百度在線網絡技術(北京)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 袁媛

本發明提供一種MapReduce分布式系統的文件遷移方法及設備。本發明實施例通過啟動用于遷移目標文件的遷移作業，所述遷移作業中至少包含并行執行的第一Map任務和第二Map任務，以及所述第一Map任務和所述第二Map任務對應的Reduce任務，使得在Reduce任務中，能夠生成所述目標文件在所述目標MapReduce分布式系統中的元數據，由于遷移一目標文件的遷移任務至少包含第一Map任務和第二Map任務，并且所述第一Map任務與所述第二Map任務是并行執行的，因此，會縮短該目標文件的遷移時間，從而提高了目標文件的遷移效率。

【技術領域】

本發明涉及文件遷移技術，尤其涉及一種MapReduce分布式系統的文件遷移方法及設備。

【背景技術】

近年來，隨著寬帶網絡技術與并行計算理論的快速發展，一種更簡化的分布式系統即映射和匯總（MapReduce）分布式系統應運而生，以為多種應用提供服務，例如，為搜索引擎提供服務。在MapReduce分布式系統，也可以成為MapReduce分布式集群，例如，Hadoop系統，中，一個數據處理過程稱為一個作業（Job），Job提交之后，將待處理數據分為N份，每份待處理數據由一個映射（Map）任務進行處理，Map任務運行在該MapReduce分布式系統中的一個節點設備上，一個節點設備上可以運行一個或多個Map任務；所有Map任務的輸出結果由匯總（Reduce）任務進行匯總，輸出對應的結果。其中，Hadoop是阿帕奇軟件基金下的一個開源項目。

然而，在MapReduce分布式系統的文件遷移過程中，是以文件為單位，在同一個任務中進行遷移的，遷移效率不高。

【發明內容】

本發明的多個方面提供一種MapReduce分布式系統的文件遷移方法及設備，用以提高文件的遷移效率。

本發明的一方面，提供一種MapReduce分布式系統的文件遷移方法，包括：

啟動用于遷移目標文件的遷移作業，所述遷移作業中至少包含并行執行的第一Map任務和第二Map任務，以及所述第一Map任務和所述第二Map任務對應的Reduce任務，所述目標文件至少包括第一數據和第二數據，所述第一數據存儲在至少一個第一數據塊中，所述第二數據存儲在至少一個第二數據塊中；

在所述第一Map任務中，根據所述目標文件的標識信息和所述至少一個第一數據塊的標識信息，將所述第一數據拷貝到目標MapReduce分布式系統中；

在所述第二Map任務中，根據所述目標文件的標識信息和所述至少一個第二數據塊的標識信息，將所述第二數據拷貝到目標MapReduce分布式系統中；

在所述Reduce任務中，根據所述目標文件的標識信息、所述至少一個第一數據塊的標識信息和所述至少一個第二數據塊的標識信息，生成所述目標文件在所述目標MapReduce分布式系統中的元數據。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述目標文件的標識信息包括所述目標文件在所述目標MapReduce分布式系統的文件系統中所存儲的路徑信息。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，

所述至少一個第一數據塊的標識信息為所述至少一個第一數據塊的開始位置在所述目標文件中的偏移量；

所述至少一個第二數據塊的標識信息在所述目標文件中的偏移量為所述至少一個第二數據塊的開始位置在所述目標文件中的偏移量。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述在所述Reduce任務中，根據所述目標文件的標識信息、所述至少一個第一數據塊的標識信息和所述至少一個第二數據塊的標識信息，生成所述目標文件在所述目標MapReduce分布式系統中的元數據，包括：