[發(fā)明專利]一種基于Mapreduce的多GPU協(xié)同計(jì)算方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210102834.4
• 申請(qǐng)日: 2012-04-10
• 公開(kāi)（公告）號(hào): CN102662639A
• 公開(kāi)（公告）日: 2012-09-12
• 發(fā)明（設(shè)計(jì)）人: 呂相文;袁家斌;曾青華
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06F9/38
• 分類號(hào): G06F9/38
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 艾中蘭

1.一種基于Mapreduce的多GPU協(xié)同計(jì)算方法，其特征在于包括以下幾個(gè)步驟：

1）首先，客戶端向管理階段傳遞任務(wù)請(qǐng)求；

2）然后，管理階段中的命名節(jié)點(diǎn)NameNode負(fù)責(zé)管理文件系統(tǒng)的命名空間、計(jì)算階段集群配置信息、存儲(chǔ)塊的位置信息；工作追蹤器JobTracker負(fù)責(zé)對(duì)計(jì)算任務(wù)進(jìn)行啟動(dòng)和調(diào)度，并且實(shí)現(xiàn)跟蹤任務(wù)的執(zhí)行情況和計(jì)算階段的狀態(tài)；

3）在計(jì)算階段中：

①數(shù)據(jù)節(jié)點(diǎn)DataNode接收到來(lái)自命名節(jié)點(diǎn)NameNode的讀寫請(qǐng)求后，調(diào)用CPU，對(duì)海量數(shù)據(jù)進(jìn)行讀取掃描，再水平劃分，分成M個(gè)固定大小的數(shù)據(jù)子集splits片段，M為自然數(shù)，其大小根據(jù)計(jì)算系統(tǒng)中計(jì)算節(jié)點(diǎn)的個(gè)數(shù)以及數(shù)據(jù)劃分結(jié)果所決定；

②空閑CPU的任務(wù)追蹤器TaskTracker向工作追蹤器JobTracker請(qǐng)求任務(wù)并得到響應(yīng)之后，對(duì)M個(gè)數(shù)據(jù)子集split進(jìn)行格式化，進(jìn)一步分解成一批鍵/值對(duì)<key1,value1>；

③空閑GPU的任務(wù)追蹤器TaskTracke向工作追蹤器JobTracker請(qǐng)求任務(wù)并得到響應(yīng)之后，對(duì)輸入的每一個(gè)數(shù)據(jù)子集split，創(chuàng)建一個(gè)Map任務(wù)，將對(duì)應(yīng)split中的每個(gè)記錄<key1,value1>對(duì)作為輸入并進(jìn)行掃描，并將其針對(duì)GPU上運(yùn)行特定算法進(jìn)行格式化，使用GPU的CUDA庫(kù)實(shí)現(xiàn)一個(gè)局部組合器Combiner，產(chǎn)生并輸出中間<key2,value2>鍵/值對(duì)；

④利用分區(qū)函數(shù)hash（key）mod?R將Map函數(shù)產(chǎn)生的中間鍵/值對(duì)分成R個(gè)不同的分區(qū)，這里的R為一個(gè)小于M的自然數(shù)，接著GPU將中間結(jié)果按照key2進(jìn)行相關(guān)排序，并將key2值相同的value2數(shù)據(jù)聚合在一起形成一個(gè)新列表，形成<key2,list(value2)>對(duì)，?list(value2)為由相同key2值的value2所組成的數(shù)組，再將這些鍵/值對(duì)分成R個(gè)不同的分區(qū)，將每個(gè)分區(qū)分配到指定的Reduce任務(wù)；

⑤被分配了Reduce任務(wù)的工作站調(diào)用空閑的CPU，啟動(dòng)CPU的任務(wù)追蹤器TaskTracker去讀取Map函數(shù)提交的數(shù)據(jù)<key2,?list(value2)>，在遍歷排序后的中間數(shù)據(jù)后，CPU的任務(wù)追蹤器TaskTracker將每一個(gè)分區(qū)傳遞給空閑的GPU的任務(wù)追蹤器TaskTracker，由其進(jìn)行格式化，使用GPU并行技術(shù)做相應(yīng)處理操作，得到Reduce任務(wù)的多個(gè)輸出結(jié)果，啟動(dòng)合并操作獲得最終的輸出值；

⑥GPU的任務(wù)追蹤器TaskTracker將最終結(jié)果交給CPU調(diào)用部分。