[發明專利]MapReduce應用的相關參數的配置方法和裝置

在審

• 申請號: 201410373376.7
• 申請日: 2014-07-31
• 公開（公告）號: CN105302536A
• 公開（公告）日: 2016-02-03
• 發明（設計）人: 鄒嘉;史巨偉;鄭勇;王晨;劉杰
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F9/44
• 分類號: G06F9/44
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;陳穎

技術領域

本發明涉及分布式文件系統，更具體地，涉及基于分布式文件系統的MapReduce應用的相關參數的配置方法和裝置。

背景技術

分布式文件系統(DistributedFileSystem)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。分布式文件系統的設計基于客戶機/服務器模式。一個典型的網絡可能包括多個供多用戶訪問的服務器。MapReduce是Google公司提出的一種用于大規模并行編程的軟件架構。由于MapReduce架構可以實現大規模數據集(大于1TB)的并行運算，并通過把對數據集的大規模操作分發給網絡上的多個節點進行并行運算來實現伸縮性，因此被分布式文件系統廣泛應用。概念“Map(映射)”和“Reduce(化簡)”及其主要思想，都是從函數式編程語言借來的。當前的MapReduce中間件實現要求應用開發者指定一個Map(映射)函數，用來把一組鍵值對映射成一些新的鍵值對(key-valuepair)，稱作中間鍵值對；此外還要求應用開發者指定一個Reduce(化簡)函數，用來對Map函數輸出的中間鍵值對進行進一步處理。

分布式文件系統需要將劃分的文件塊存儲在多個計算節點上，并且需要將每個文件塊復制為多個副本保存在不同的計算節點上，由此，對多個計算節點的文件塊進行讀寫操作時就不可避免地產生了文件傳輸的網絡開銷以及盡量對本地節點的數據塊進行讀寫操作的本地化需求。對于現有的分布式文件系統，MapReduce作業的相關參數都是由系統管理員按經驗配置，但是隨著作業、數據和集群特點的變化，一套通用的手動配置不能讓系統資源利用率達到最優。

因此，需要一種有效地降低文件傳輸的網絡開銷、盡可能實現本地化處理的MapReduce作業的相關參數的配置，減少管理員配置負擔的同時，有效地增加系統資源利用率。

發明內容

根據本發明的一個方面，提供了一種基于分布式文件系統的MapReduce應用的相關參數的配置方法，包括：接收第一MapReduce作業的處理請求；獲取歷史MapReduce作業的作業特征屬性；從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相關的第二MapReduce作業的作業特征屬性；根據所述第二MapReduce作業的作業特征屬性配置所述第一MapReduce作業的相關參數。

根據本發明的另一個方面，提供了一種基于分布式文件系統的MapReduce應用的相關參數的配置裝置，包括：接收模塊，被配置為接收第一MapReduce作業的處理請求；第一獲取模塊，被配置為獲取歷史MapReduce作業的作業特征屬性；第一查找模塊，被配置為從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相關的第二MapReduce作業的作業特征屬性；第一配置模塊，被配置為根據所述第二MapReduce作業的作業特征屬性配置所述第一MapReduce作業的相關參數。

根據本發明實施例的MapReduce應用的相關參數的配置方法和裝置，能夠有效地降低文件傳輸的網絡開銷、盡可能實現本地化處理，減少管理員配置負擔的同時，有效地增加系統資源利用率。

附圖說明

通過結合附圖對本公開示例性實施方式進行更詳細的描述，本公開的上述以及其它目的、特征和優勢將變得更加明顯，其中，在本公開示例性實施方式中，相同的參考標號通常代表相同部件。

圖1示出了適于用來實現本發明實施方式的示例性計算機系統/服務器12的框圖。

圖2示出根據本發明實施例的基于分布式文件系統的MapReduce應用的配置參數的配置方法。

圖3示出根據本發明的實施例的基于分布式文件系統的MapReduce應用的相關參數的配置裝置300。

具體實施方式

下面將參照附圖更詳細地描述本公開的優選實施方式。雖然附圖中顯示了本公開的優選實施方式，然而應該理解，可以以各種形式實現本公開而不應被這里闡述的實施方式所限制。相反，提供這些實施方式是為了使本公開更加透徹和完整，并且能夠將本公開的范圍完整地傳達給本領域的技術人員。

圖1示出了適于用來實現本發明實施方式的示例性計算機系統/服務器12的框圖。圖1顯示的計算機系統/服務器12僅僅是一個示例，不應對本發明實施例的功能和使用范圍帶來任何限制。