[發明專利]在具有存儲網絡的數據中心進行MapReduce數據傳輸的方法和系統

有效

• 申請號: 201010138992.6
• 申請日: 2010-03-31
• 公開（公告）號: CN102209087A
• 公開（公告）日: 2011-10-05
• 發明（設計）人: 薛偉;蔡斌;向哲;楊博;李立
• 申請（專利權）人: 國際商業機器公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 于靜;楊曉光

1.一種用于在具有存儲網絡的數據中心進行MapReduce數據傳輸的方法，該數據中心包括部署有作業服務器、Map任務服務器和Reduce任務服務器的多臺服務器，該方法包括：

響應于接收到作業服務器分配的Map任務，Map任務服務器執行Map任務并產生Map任務輸出結果；

Map任務服務器將Map任務輸出結果寫入存儲網絡；以及

響應于接收到作業服務器分配的Reduce任務，Reduce任務服務器從存儲網絡讀取Map任務輸出結果。

2.根據權利要求1所述的方法，其中響應于接收到作業服務器分配的Map任務，Map任務服務器執行Map任務并產生Map任務輸出結果進一步包括：

響應于接收到作業服務器分配的Map任務，從作業服務器指定的存儲位置讀取Map任務的輸入數據分片；

從輸入數據分片中分析出鍵值對；

調用Map函數對所述鍵值對進行計算并產生Map函數的輸出；以及

通過對Map函數的輸出做分割形成Map任務輸出結果。

3.根據權利要求1或2所述的方法，其中Map任務服務器將Map任務輸出結果寫入存儲網絡進一步包括：

將Map任務輸出結果的寫入位置信息記錄下來；以及

Map任務完成后，向作業服務器發出Map任務完成的通知并將Map任務輸出結果的寫入位置信息發送給作業服務器。

4.根據權利要求3所述的方法，其中響應于接收到作業服務器分配的Reduce任務，Reduce任務服務器從存儲網絡讀取Map任務輸出結果進一步包括：

響應于接收到作業服務器分配的Reduce任務以及Map任務輸出結果的寫入位置信息，Reduce任務服務器從存儲網絡對應的寫入位置讀取Map任務輸出結果。

5.根據權利要求4所述的方法，其中Map任務服務器將Map任務輸出結果寫入存儲網絡進一步包括：

通過光纖信道協議FCP將Map任務輸出結果以數據塊的形式寫入分配給該Map任務服務器的邏輯單元的相應位置，其中該邏輯單元在存儲網絡中的存儲設備上。

6.根據權利要求5所述的方法，其中Map任務輸出結果的寫入位置信息至少包括存儲設備標識WWPN、邏輯單元標識LUM、數據塊在邏輯單元中的起始地址偏移量以及數據塊長度字段。

7.根據權利要求6所述的方法，其中響應于接收到作業服務器分配的Reduce任務，Reduce任務服務器從存儲網絡讀取Map任務輸出結果進一步包括：

解析接收到的Map任務輸出結果的寫入位置信息，以獲得存儲設備標識WWPN、邏輯單元標識LUN、數據塊在邏輯單元中的起始地址偏移量和數據塊長度字段；以及

從所述存儲設備標識WWPN、邏輯單元標識LUN、數據塊起始地址偏移量和數據塊長度字段所標識的存儲網絡中的存儲設備上邏輯單元的相應位置，讀取Map任務輸出結果。

8.根據權利要求4所述的方法，其中Map任務服務器將Map任務輸出結果寫入存儲網絡進一步包括：

通過存儲網絡文件系統將Map任務輸出結果寫入存儲網絡。

9.根據權利要求8所述的方法，其中通過存儲網絡文件系統將Map任務輸出結果寫入存儲網絡進一步包括：

確定存儲網絡文件系統已安裝到部署該Map任務服務器的服務器上；以及

將Map任務輸出結果寫入存儲網絡文件系統。

10.根據權利要求9所述的方法，其中將Map任務輸出結果的寫入位置信息記錄下來進一步包括：

將Map任務輸出結果在存儲網絡文件系統的全局命名空間內的路徑名作為Map任務輸出結果的寫入位置信息記錄下來。

11.根據權利要求10所述的方法，其中響應于接收到作業服務器分配的Reduce任務，Reduce任務服務器從存儲網絡讀取Map任務輸出結果進一步包括：

確認存儲網絡文件系統已安裝到部署Reduce任務服務器的服務器上；

解析接收到的Map任務輸出結果的寫入位置信息，以獲得Map任務輸出結果在存儲網絡文件系統的全局命名空間中的路徑名；

將所述路徑名轉換為部署Reduce任務服務器的服務器的本地文件系統中的路徑名；以及

通過訪問該本地文件系統中的路徑名獲得Map任務輸出結果。