[發明專利]一種Internet環境下MapReduce計算方法

無效

• 申請號: 201310026425.5
• 申請日: 2013-01-24
• 公開（公告）號: CN103116525A
• 公開（公告）日: 2013-05-22
• 發明（設計）人: 賀海武;唐兵
• 申請（專利權）人: 賀海武;唐兵
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種Internet環境下的MapReduce計算方法，其特征在于，利用Internet環境下志愿者桌面PC的空閑計算和存儲資源來進行MapReduce計算，提供一種Internet環境下簡單有效的容錯MapReduce計算模型與方法，使得志愿計算系統能夠支持MapReduce計算。

2.根據權利要求1所述的Internet環境下的MapReduce計算方法，其特征在于，Internet環境下的MapReduce計算系統架構包含三種不同類型的節點：第一是服務器，包含數據存儲服務器、元數據服務器、數據調度器、MR任務調度器這四個不同的服務組件；第二是客戶端（用戶），也稱之為Master節點；第三是眾多的工作節點，也稱之為Worker節點。

3.根據權利要求1所述的Internet環境下的MapReduce計算方法，其特征在于，它不依賴于傳統的分布式文件系統，而依賴于自己的元數據管理系統和數據存儲服務器。

4.根據權利要求2所述的Internet環境下的MapReduce計算方法，其特征在于，桌面PC以志愿者的形式加入系統成為工作節點，用戶作為Master向服務器上傳待處理的數據，并提交MapReduce任務，服務器自動將Map任務和Reduce任務調度至工作節點上執行，待所有任務完成，Reduce任務的最終結果自動返回給用戶，無需人工干預。

5.根據權利要求4所述的Internet環境下的MapReduce計算方法，其特征在于，在元數據管理基礎之上，利用數據驅動的方式，將任務分配與調度轉化為數據調度，將Map任務和Reduce任務的容錯轉化為Map輸入數據、中間結果和Reduce輸入數據的容錯，解決了Internet環境下工作節點動態易失效帶來的影響。

6.根據權利要求4所述的Internet環境下的MapReduce計算方法，其特征在于，采用{副本數目，容錯標志，生命周期，依賴關系，傳輸協議}五元組的數據屬性值，來實現各種數據調度控制；利用數據容錯標志，實現任務的容錯；利用數據依賴關系，來實現合理控制Map任務得到的中間結果的數據流向，準確傳輸至執行Reduce任務的工作節點。

7.根據權利要求4所述的Internet環境下的MapReduce計算方法，其特征在于，采用了基于元數據的“拉模式”數據調度，突破Internet環境下網絡地址轉換和防火墻的限制；在“拉模式”下，工作節點主動發起通信過程，服務器被動響應；工作節點利用周期性的“心跳信號”向數據調度器匯報當前存儲在本地的數據；作為“心跳信號的”響應，數據調度器與節點之間進行數據同步操作，數據調度器掃描系統中所有數據的屬性，通知節點是否需要下載數據至本地或者刪除已存在于本地的數據，將數據同步與數據調度相耦合。