[發(fā)明專利]海量數(shù)據(jù)的分布式存儲方法

無效

• 申請?zhí)枺?/td>: 201210493935.9
• 申請日: 2012-11-28
• 公開（公告）號: CN103023992A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計）人: 宗競
• 申請（專利權(quán)）人: 江蘇樂買到網(wǎng)絡(luò)科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 蘇州威世朋知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32235
• 代理人: 楊林潔

1.一種海量數(shù)據(jù)的分布式存儲方法，包括下列步驟：

步驟1，分割，首先，輸入文件被用戶程序中的MapReduce函數(shù)庫分割成M塊，然后進行程序拷貝；

步驟2，指派Map/Reduce任務(wù)；

步驟3，讀取，Master給工作機分配任務(wù)，被分配了Map任務(wù)的工作機處理輸入塊的相關(guān)工作；

步驟4，本地寫入，這些緩沖到內(nèi)存的中間值將定時寫入本地硬盤，使用分區(qū)函數(shù)分割成多個區(qū)域；

步驟5，遠程讀取，當(dāng)Reduce工作機接收到中間對的位置時，Master調(diào)用遠程過程從Map工作機的本地硬盤上讀取緩沖的中間數(shù)據(jù)；

步驟6，寫入，依照每一個由唯一的中間關(guān)鍵字對應(yīng)的中間數(shù)據(jù)的序列情況，Reduce工作機發(fā)送該關(guān)鍵字和對應(yīng)的中間數(shù)據(jù)給用戶的Reduce函數(shù)，經(jīng)Reduce函數(shù)處理后所得結(jié)果輸出到一個最終的輸出文件；

步驟7，完成所有的Map/Reduce任務(wù)，主控程序激活用戶程序。

2.如權(quán)利要求1所述的海量數(shù)據(jù)的分布式存儲方法，其中步驟1中每塊文件大概在16M到64MB之間。

3.如權(quán)利要求1所述的海量數(shù)據(jù)的分布式存儲方法，步驟2中程序由一個主控程序Master和作為主控程序來分配工作的Worker（工作機）組成，Master分配這些Map/Reduce任務(wù)到選擇空閑的工作機上。

4.如權(quán)利要求1所述的海量數(shù)據(jù)的分布式存儲方法，步驟3中工作機處理輸入塊的相關(guān)工作指的是數(shù)據(jù)的輸入及處理。

5.如權(quán)利要求1所述的海量數(shù)據(jù)的分布式存儲方法，其中步驟4中由Maser將接收那些在本地磁盤的數(shù)據(jù)數(shù)列的存放位置信息，由Reduce工作機負責(zé)接收這些信息。

6.如權(quán)利要求1所述的海量數(shù)據(jù)的分布式存儲方法，步驟5中Reduce工作機讀取這些中間值后，它就按照key是否相同來進行排序，將相同key的值排序在一起。