[發明專利]MapReduce架構中的資源管理方法、裝置和架構系統

有效

• 申請號: 201310037826.0
• 申請日: 2013-01-31
• 公開（公告）號: CN103970520B
• 公開（公告）日: 2017-06-16
• 發明（設計）人: 史巨偉;李立;鄒嘉;于琦
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F9/44
• 分類號: G06F9/44;G06F9/50
• 代理公司: 中國國際貿易促進委員會專利商標事務所11038
• 代理人: 李鎮江

1.一種用于MapReduce架構中的資源管理的方法，包括：

確定Map任務的輸入數據量和Map任務的輸出數據量之比r以及Map輸出結果中記錄的平均大小R；

確定一個Map資源槽對應的能夠分配給Map任務的內存大小Memory_Size；

根據所確定的r、R和Memory_Size，確定適合該Map任務的輸入切片大小；以及

將待處理的MapReduce作業中具有該輸入切片大小的輸入分片分配給占用該Map資源槽的Map任務。

2.根據權利要求1所述的方法，其中，所述確定Map任務的輸入數據量和Map任務的輸出數據量之比r以及Map輸出結果中記錄的平均大小R包括如下二者之一：

預先運行一個或多個Map任務，并根據運行后得到的結果確定r和R；

根據與歷史上運行過的Map任務相關的日志信息，確定r和R。

3.根據權利要求1所述的方法，其中，所述根據所確定的r、R和Memory_Size、確定適合該Map任務的輸入切片大小包括：

根據R、Map輸出結果中一個記錄所對應的管理開銷和Memory_Size，確定Memory_Size中用于存儲除所述管理開銷之外的數據的內存大小Data_Buffer；以及

根據Data_Buffer和r，確定適合該Map任務的輸入切片大小。

4.根據權利要求1所述的方法，其中，在MapReduce架構用于同構網絡的情況下，所述確定一個Map資源槽對應的能夠分配給Map任務的內存大小Memory_Size包括：

根據用于并行執行Map任務的資源槽總數和用于并行執行Map任務的總內存，確定Memory_Size。

5.根據權利要求4所述的方法，其中，還包括：

根據所述MapReduce作業的總輸入數據量和所述輸入切片大小，確定所述MapReduce作業的Map任務數量。

6.根據權利要求1所述的方法，其中，在MapReduce架構用于異構網絡的情況下，所述確定一個Map資源槽對應的能夠分配給Map任務的內存大小Memory_Size包括：

響應于一個Map資源槽空閑，確定該Map資源槽對應的內存大小，作為Memory_Size。

7.根據權利要求1所述的方法，還包括：

根據r和所述MapRuduce作業的總輸入數據量，確定所述MapReduce作業的Map輸出結果的總數據量；

確定一個Reduce資源槽對應的能夠分配來存儲Reduce任務的輸入數據的內存大小；以及

根據所述存儲Reduce任務的輸入數據的內存大小和所述Map輸出結果的總數據量，確定所述MapReduce作業的Reduce任務數量。

8.根據權利要求7所述的方法，其中，在MapReduce架構用于同構網絡的情況下，所述確定一個Reduce資源槽對應的能夠分配來存儲Reduce任務的輸入數據的內存大小包括：

根據用于并行執行Reduce任務的資源槽總數、用于并行執行Reduce任務的總內存以及小于1的預定系數，確定一個Reduce資源槽對應的能夠分配來存儲Reduce任務的輸入數據的內存大小。