[發(fā)明專利]基于多態(tài)進(jìn)程重組協(xié)處理矩陣的多個子任務(wù)云異步協(xié)同處理方法

無效

• 申請?zhí)枺?/td>: 201010263559.5
• 申請日: 2010-08-26
• 公開（公告）號: CN102156657A
• 公開（公告）日: 2011-08-17
• 發(fā)明（設(shè)計(jì)）人: 高瞻;孫希律
• 申請（專利權(quán)）人: 高瞻
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/52
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于Worker-Reduce協(xié)處理矩陣的多個子任務(wù)云異步協(xié)同處理方法，包括多個事務(wù)處理云服務(wù)陣列，其特征是：還包括Worker-Reduce協(xié)處理矩陣容器，采用Worker映射函數(shù)用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce化簡函數(shù)來保證所有映射的鍵值對中的每一個共享相同的鍵組，通過輸入消息數(shù)據(jù)分析拆解處理層、Reduce算法處理第一層、Reduce算法處理第一層、Reduce算法處理第一層和輸出消息數(shù)據(jù)還原處理層來對消息數(shù)據(jù)進(jìn)行處理，其中：

(1)Map?function：對于每個文檔，用類似SHA-1等算法計(jì)算其內(nèi)容的散列值：

輸入：<document?ID，document?content>，

輸出：<document?hash，document?ID>；

(2)Reduce?function：丟棄所有只有一個value的key，然后對每個key的文檔列表進(jìn)行嚴(yán)格字符串比較，實(shí)現(xiàn)局部的重復(fù)文檔分類：

輸入：<document?hash，LIST?of?document?IDs>，

輸出：list?of[set?of?unique?document?IDs]；

以此通過對多任務(wù)的拆分合并來實(shí)現(xiàn)多個子任務(wù)云的異步協(xié)同處理。

2.根據(jù)權(quán)利要求1所述的一種基于Worker-Reduce協(xié)處理矩陣的多個子任務(wù)云異步協(xié)同處理方法，其特征是：其步驟如下：

a、系統(tǒng)首先將Worker-Reduce的輸入集分成若干分區(qū)，并且會在機(jī)群的計(jì)算機(jī)上啟動多個Worker-Reduce的副本；

b、這些Worker-Reduce進(jìn)程的副本中由一個是特別的，被稱為Master，用于管理整個Worker-Reduce的執(zhí)行過程，其他的進(jìn)程都是一樣的用于實(shí)際工作的進(jìn)程；

c、Master進(jìn)程會不停地選擇空閑的Worker進(jìn)程，并將Worker的工作或者Reduce的工作分配給它，對于Worker工作的分配原則是，Worker盡可能處理輸入文件離自己最近的工作；

d、每一個執(zhí)行Worker工作的Worker都在輸入集的每一個(key，value)上執(zhí)行用戶定義的Worker函數(shù)，并將執(zhí)行結(jié)果存放在本地磁盤上，對于結(jié)果的存放，是根據(jù)用戶定義的分區(qū)函數(shù)(partition?function)來存放的，并將存放的位置信息傳遞個Master；

e、當(dāng)所有的Worker工作都完成了之后，Master開始向Worker分配Reduce工作，并且告訴Worker到哪里去找輸入數(shù)據(jù)；

f、Worker進(jìn)程找到所有跟這次Reduce工作相關(guān)的數(shù)據(jù)，并將這些數(shù)據(jù)按照Key進(jìn)行排序，之后，對于每一個(key，[Value])來執(zhí)行用戶定義的Reduce函數(shù)，并將結(jié)果寫到輸出文件中；

g、當(dāng)所有的Reduce工作結(jié)束后，Master應(yīng)該會完成一些收尾的工作，例如結(jié)束每一個Worker進(jìn)程等，并將控制權(quán)交給應(yīng)用程序，Worker-Reduce操作返回。

3.根據(jù)權(quán)利要求1所述的基于Worker-Reduce協(xié)處理矩陣的多個子業(yè)務(wù)云異步協(xié)同處理方法，其特征是：

Map：輸入是(應(yīng)用程序名，源文件和優(yōu)化選項(xiàng)組合)，輸出是(應(yīng)用程序名，運(yùn)行時間和優(yōu)化選項(xiàng)組合)。

4.根據(jù)權(quán)利要求1所述的基于Worker-Reduce協(xié)處理矩陣的多個子業(yè)務(wù)云異步協(xié)同處理方法，其特征是：

Reduce：輸入是Map的輸出，輸出是(應(yīng)用程序名，優(yōu)化選項(xiàng)組合)。