[發(fā)明專利]一種針對異構(gòu)存儲的Shuffle方法

有效

• 申請?zhí)枺?/td>: 201710532428.4
• 申請日: 2017-07-03
• 公開（公告）號: CN107329705B
• 公開（公告）日: 2020-06-05
• 發(fā)明（設(shè)計）人: 潘鋒烽;熊勁
• 申請（專利權(quán)）人: 中國科學(xué)院計算技術(shù)研究所
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京泛華偉業(yè)知識產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

1.一種針對異構(gòu)存儲的Shuffle方法，其中異構(gòu)存儲設(shè)備由SSD和HDD組成，所述方法包括以下步驟：

步驟1)、將異構(gòu)存儲設(shè)備按照其介質(zhì)類型分別組成相應(yīng)的資源池；

步驟2)、根據(jù)負載類型將Shuffle數(shù)據(jù)寫入相應(yīng)的所述資源池中；其中，負載類型包括：Shuffle階段數(shù)據(jù)量大或所占時間比例大的負載類型，Shuffle階段數(shù)據(jù)量小或所占時間比例小的負載類型，以及Shuffle階段特征未知的負載類型；

其中，對于Shuffle階段數(shù)據(jù)量大或所占時間比例大的負載類型，將Shuffle數(shù)據(jù)存儲在所述異構(gòu)存儲設(shè)備的SSD中；

對于Shuffle階段數(shù)據(jù)量小或所占時間比例小的負載類型，將Shuffle數(shù)據(jù)存儲在所述異構(gòu)存儲設(shè)備的HDD中；

對于Shuffle階段特征未知的負載類型，將Shuffle數(shù)據(jù)采用輪詢方式存儲在所述異構(gòu)存儲設(shè)備中，并且采用按序分段讀取的方式，先從SSD上讀取Shuffle數(shù)據(jù)再從HDD上讀取Shuffle數(shù)據(jù)，或者先從HDD上讀取Shuffle數(shù)據(jù)再從SSD上讀取Shuffle數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的針對異構(gòu)存儲的Shuffle方法，其中，所述步驟1)所述資源池是由SSD組成的資源池和由HDD組成的資源池。

3.根據(jù)權(quán)利要求2所述的針對異構(gòu)存儲的Shuffle方法，其中，對于Shuffle階段數(shù)據(jù)量大或所占時間比例大的負載類型，將數(shù)據(jù)存儲在所述SSD組成的資源池中。

4.根據(jù)權(quán)利要求2所述的針對異構(gòu)存儲的Shuffle方法，其中，對于Shuffle階段數(shù)據(jù)量小或所占時間比例小的負載類型，將數(shù)據(jù)存儲在所述HDD組成的資源池中。

5.根據(jù)權(quán)利要求3或4所述的針對異構(gòu)存儲的Shuffle方法，采用從相應(yīng)的資源池中直接讀取的方式讀取Shuffle數(shù)據(jù)。

6.一種MapReduce編程方法，包括根據(jù)權(quán)利要求1至5中任一項所述的針對異構(gòu)存儲的Shuffle方法。

7.一種計算機系統(tǒng)，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其中，所述處理器運行所述程序時執(zhí)行如權(quán)利要求6所述的步驟。

8.一種計算機可讀存儲介質(zhì)，包括存儲在所述可讀存儲介質(zhì)上的計算機程序，其中，所述程序執(zhí)行如權(quán)利要求6所述的步驟。