[發(fā)明專利]數(shù)據(jù)傳輸方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011001056.0
• 申請日: 2020-09-22
• 公開（公告）號: CN112181618A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 王森
• 申請（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54
• 代理公司: 北京開陽星知識產(chǎn)權(quán)代理有限公司 11710
• 代理人: 袁義科

本公開實(shí)施例涉及一種數(shù)據(jù)傳輸方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)，通過建立消息隊(duì)列，當(dāng)有Map任務(wù)完成時，將Map任務(wù)的輸出數(shù)據(jù)加入到消息隊(duì)列中，并按照輸出數(shù)據(jù)在消息隊(duì)列中的排序，將輸出數(shù)據(jù)傳輸給相應(yīng)的Reduce任務(wù)，實(shí)現(xiàn)了一種基于MapReduce框架的數(shù)據(jù)異步傳輸方式，提高了MapReduce的數(shù)據(jù)處理效率，解決了相關(guān)技術(shù)易發(fā)生網(wǎng)絡(luò)擁堵的問題。

技術(shù)領(lǐng)域

本公開實(shí)施例涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)傳輸方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)。

背景技術(shù)

MapReduce是一種分布式計(jì)算框架，主要通過“映射”任務(wù)(或者也可以稱為Map任務(wù))和“規(guī)約”任務(wù)(或者也可以稱為Reduce任務(wù))進(jìn)行大規(guī)模的數(shù)據(jù)處理和計(jì)算。

在相關(guān)技術(shù)中將Map任務(wù)和Reduce任務(wù)之間的數(shù)據(jù)傳輸過程稱為“洗牌”過程(或者也可以稱為Shuffle過程)。在該過程中，只有在全部Map任務(wù)完成后，才會將全部Map任務(wù)的輸出數(shù)據(jù)一次性寫入本地磁盤，Reduce任務(wù)只有全部數(shù)據(jù)被寫入本地磁盤后才能夠從磁盤中讀取數(shù)據(jù)，并執(zhí)行相應(yīng)的任務(wù)。

但是由于相關(guān)技術(shù)中Reduce任務(wù)必須等待所有Map任務(wù)全部完成后才能執(zhí)行，因而會導(dǎo)致數(shù)據(jù)處理效率低的問題，并且一次性將大量數(shù)據(jù)寫入本地磁盤也會對網(wǎng)絡(luò)造成擁堵。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本公開實(shí)施例提供了一種數(shù)據(jù)傳輸方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)。

本公開實(shí)施例第一方面提供了一種數(shù)據(jù)傳輸方法，該方法包括：

建立消息隊(duì)列；響應(yīng)于監(jiān)測到有Map任務(wù)完成，將該Map任務(wù)的輸出數(shù)據(jù)加入到消息隊(duì)列中；根據(jù)該Map任務(wù)的輸出數(shù)據(jù)在消息隊(duì)列中的排序，將輸出數(shù)據(jù)傳輸給相應(yīng)的Reduce任務(wù)。

在一種實(shí)施方式中，所述建立消息隊(duì)列，包括：

基于Reduce任務(wù)的個數(shù)，建立相應(yīng)個數(shù)的分區(qū)；在每個分區(qū)中建立一個消息隊(duì)列，并建立所述消息隊(duì)列與所述Reduce任務(wù)之間的一一對應(yīng)關(guān)系。

在一種實(shí)施方式中，所述Map任務(wù)的輸出數(shù)據(jù)中包括所述Map任務(wù)對應(yīng)的字段和所述Map任務(wù)的執(zhí)行結(jié)果；所述將所述Map任務(wù)的輸出數(shù)據(jù)加入到所述消息隊(duì)列中，包括：

根據(jù)所述Map任務(wù)對應(yīng)的所述字段，確定所述Map任務(wù)對應(yīng)的目標(biāo)消息隊(duì)列，所述目標(biāo)消息隊(duì)列是指用于處理所述Map任務(wù)的Reduce任務(wù)所對應(yīng)的消息隊(duì)列；將所述Map任務(wù)的輸出數(shù)據(jù)加入到所述目標(biāo)消息隊(duì)列中。

在一種實(shí)施方式中，所述根據(jù)所述Map任務(wù)對應(yīng)的所述字段，確定所述Map任務(wù)對應(yīng)的目標(biāo)消息隊(duì)列，包括：

計(jì)算所述字段的哈希值與Reduce任務(wù)個數(shù)的商的余數(shù)；基于所述余數(shù)與消息隊(duì)列之間的對應(yīng)關(guān)系，確定所述Map任務(wù)對應(yīng)的目標(biāo)消息隊(duì)列。

在一種實(shí)施方式中，所述響應(yīng)于監(jiān)測到有Map任務(wù)完成，將所述Map任務(wù)的輸出數(shù)據(jù)加入到所述消息隊(duì)列中之前，所述方法還包括：

基于所有Map任務(wù)建立Map任務(wù)列表，所述Map任務(wù)列表中包括各Map任務(wù)的完成狀態(tài)，以及未完成任務(wù)的數(shù)量。

在一種實(shí)施方式中，所述將所述Map任務(wù)的輸出數(shù)據(jù)加入到所述消息隊(duì)列中之后，所述方法還包括：

更新所述Map任務(wù)列表中未完成任務(wù)的數(shù)量。

在一種實(shí)施方式中，所述將所述輸出數(shù)據(jù)傳輸給相應(yīng)的Reduce任務(wù)之后，所述方法還包括：

響應(yīng)于監(jiān)測到所述Map任務(wù)列表中未完成的任務(wù)數(shù)量為0，關(guān)閉所有消息隊(duì)列。

在一種實(shí)施方式中，所述將所述輸出數(shù)據(jù)傳輸給相應(yīng)的Reduce任務(wù)之前，所述方法還包括：