[發明專利]基于多數據架構中心面向數據密集型應用的并行編程方法

在審

• 申請號: 201210359600.8
• 申請日: 2012-09-24
• 公開（公告）號: CN102880510A
• 公開（公告）日: 2013-01-16
• 發明（設計）人: 王力哲
• 申請（專利權）人: 中國科學院對地觀測與數字地球科學中心
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/50
• 代理公司: 北京紐樂康知識產權代理事務所 11210
• 代理人: 覃莉

1.一種基于多數據架構中心面向數據密集型應用的并行編程方法，其特征在于，包括以下步驟：

1）構建系統架構的主節點，接收用戶提交的若干作業，并通過主節點將所述作業分割成相對應的次一級任務，并將所述次一級任務分布到子節點上；

2）構建系統架構的子節點，所述子節點包括任務跟蹤程序TaskTracker服務器、作業跟蹤程序、I/O服務器程序和網絡共享程序；

3）將MapReduce應用及其配置置于網絡的共享位置中，供機群中的所有計算節點訪問共享位置中的作業，并加以執行；以及

4）設計自動加載MapReduce作業并行處理模型，所述并行處理模型包括提交作業、作業初始化、任務分配、任務定位、任務提交、任務執行和釋放資源功能。

2.根據權利要求1所述的一種基于多數據架構中心面向數據密集型應用的并行編程方法，其特征在于：所述主節點包括元數據Metadata服務器和作業跟蹤程序JobTracker服務器，所述元數據Metadata服務器使用Gfarm文件系統未經修改的元數據服務器，元數據服務器管理分布在多個機群上的文件，決定文件的實際位置，管理文件的復制，協調多個客戶對文件的訪問；元數據服務器還管理用戶訪問控制信息，所述作業跟蹤程序JobTracker服務器使用一個數據感知的調度器，在考慮數據所在位置的基礎上，將計算任務分布到多個機群中。

3.根據權利要求2所述的一種基于多數據架構中心面向數據密集型應用的并行編程方法，其特征在于：所述任務跟蹤程序TaskTracker服務器負責接收和執行分布式資源管理應用接口DRMAA?Gfarm?Plugin送來的任務，所述作業跟蹤程序使用一個分布式資源管理應用接口DRMAA的java庫進行任務提交。

4.根據權利要求3所述的一種基于多數據架構中心面向數據密集型應用的并行編程方法，其特征在于：；所述子節點上的I/O服務器管理存儲在子節點中的數據，所述主節點上的I/O服務器將數據存儲在機群的高性能文件系統中。