[發(fā)明專(zhuān)利]用于靜態(tài)分布式計(jì)算架構(gòu)的數(shù)據(jù)交換系統(tǒng)及其方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010063542.9
• 申請(qǐng)日: 2020-01-20
• 公開(kāi)（公告）號(hào): CN111225063B
• 公開(kāi)（公告）日: 2020-09-22
• 發(fā)明（設(shè)計(jì)）人: 袁進(jìn)輝;上官士源;蔡晟航;張文驍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京一流科技有限公司
• 主分類(lèi)號(hào): H04L29/08
• 分類(lèi)號(hào): H04L29/08;H04L29/06
• 代理公司: 北京金訊知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11554
• 代理人: 黃劍飛

本發(fā)明公開(kāi)了一種用于靜態(tài)分布式計(jì)算架構(gòu)的跨計(jì)算數(shù)據(jù)交換系統(tǒng)，所述靜態(tài)分布式計(jì)算架構(gòu)至少含有第一計(jì)算設(shè)備和第二計(jì)算設(shè)備，所述系統(tǒng)包括多個(gè)數(shù)據(jù)執(zhí)行體、部署在每臺(tái)計(jì)算機(jī)上的一個(gè)數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件以及消息傳輸總線(xiàn)，其中第二計(jì)算設(shè)備上的第二數(shù)據(jù)執(zhí)行體從其消息倉(cāng)向第一計(jì)算設(shè)備上的第一搬運(yùn)執(zhí)行體發(fā)出指明可以讀取數(shù)據(jù)的第二消息；第一搬運(yùn)執(zhí)行體在接收到所述第二消息時(shí)，其有限狀態(tài)機(jī)改變狀態(tài)以觸發(fā)操作組件向第一數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件發(fā)出執(zhí)行讀取數(shù)據(jù)的操作的第一命令；以及第一數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件在接收到第一命令后，基于第一命令中所包含的讀取描述，將第二輸出數(shù)據(jù)緩存中的數(shù)據(jù)搬運(yùn)到第一搬運(yùn)執(zhí)行體的第一輸出數(shù)據(jù)緩存中。

技術(shù)領(lǐng)域

本公開(kāi)涉及一種數(shù)據(jù)交換技術(shù)，更具體地說(shuō)，本公開(kāi)涉及一種用于靜態(tài)分布式架構(gòu)中實(shí)現(xiàn)數(shù)據(jù)交換的系統(tǒng)及其方法。

背景技術(shù)

隨著分布式計(jì)算的普及，大型的作業(yè)會(huì)通過(guò)分割而將不同部分的數(shù)據(jù)部署到不同的分布式數(shù)據(jù)處理系統(tǒng)的各個(gè)計(jì)算設(shè)備上進(jìn)行處理，這樣，在具體作業(yè)的處理過(guò)程中，部署在一個(gè)計(jì)算設(shè)備上的計(jì)算中間參數(shù)或結(jié)果會(huì)成為另一個(gè)計(jì)算設(shè)備上的計(jì)算任務(wù)的輸入數(shù)據(jù)，這樣為了實(shí)現(xiàn)中間參數(shù)的數(shù)據(jù)同步，這會(huì)引起計(jì)算設(shè)備之間的數(shù)據(jù)傳輸?shù)恼{(diào)用開(kāi)銷(xiāo)。而網(wǎng)絡(luò)通信調(diào)用往往是個(gè)瓶頸，然后網(wǎng)絡(luò)性能通信的性能不好，就會(huì)影響多機(jī)分布式數(shù)據(jù)處理架構(gòu)的加速比和擴(kuò)展性。

隨著數(shù)據(jù)搬運(yùn)或數(shù)據(jù)交換在靜態(tài)分布式數(shù)據(jù)處理架構(gòu)中與數(shù)據(jù)運(yùn)算一樣被重視，因此在一些靜態(tài)分布式架構(gòu)中，將數(shù)據(jù)搬運(yùn)任務(wù)固定在特定的搬運(yùn)執(zhí)行體中來(lái)實(shí)現(xiàn)，從而使得數(shù)據(jù)搬運(yùn)操作與運(yùn)算操作能夠同等重要，從而實(shí)現(xiàn)數(shù)據(jù)交換中的異步的通信，從而減少兩個(gè)調(diào)用的時(shí)間的開(kāi)銷(xiāo)。但是如何在靜態(tài)分布式架構(gòu)中預(yù)先將搬運(yùn)過(guò)程配置為任務(wù)節(jié)點(diǎn)的情況下實(shí)現(xiàn)設(shè)備間的數(shù)據(jù)搬運(yùn)就成為需要解決的一個(gè)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是解決至少上述問(wèn)題之一，具體而言，本公開(kāi)提供一種用于靜態(tài)分布式計(jì)算架構(gòu)的跨計(jì)算數(shù)據(jù)交換系統(tǒng)，所述靜態(tài)分布式計(jì)算架構(gòu)至少含有第一計(jì)算設(shè)備和第二計(jì)算設(shè)備，所述系統(tǒng)包括多個(gè)含有消息倉(cāng)、狀態(tài)機(jī)組件、操作組件以及輸出數(shù)據(jù)緩存的數(shù)據(jù)執(zhí)行體、部署在每臺(tái)計(jì)算機(jī)上的一個(gè)數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件以及消息傳輸總線(xiàn)，其中第二計(jì)算設(shè)備上的第二數(shù)據(jù)執(zhí)行體在其第二輸出數(shù)據(jù)緩存已經(jīng)被寫(xiě)入新數(shù)據(jù)時(shí)從其消息倉(cāng)向第一計(jì)算設(shè)備上的第一搬運(yùn)執(zhí)行體發(fā)出指明可以讀取第二輸出數(shù)據(jù)緩存中的數(shù)據(jù)的第二消息；第一計(jì)算設(shè)備上的第一搬運(yùn)執(zhí)行體在經(jīng)由第二計(jì)算機(jī)上的第二消息傳輸總線(xiàn)和第二數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件以及第一計(jì)算設(shè)備上的第一數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件和第一消息傳輸總線(xiàn)接收到所述第二消息時(shí)，其有限狀態(tài)機(jī)改變狀態(tài)以觸發(fā)操作組件向第一數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件發(fā)出執(zhí)行讀取第二輸出數(shù)據(jù)緩存中的數(shù)據(jù)的操作的第一命令；以及第一數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件在接收到第一搬運(yùn)執(zhí)行體的第一命令后，基于第一命令中所包含的讀取描述，采用直接遠(yuǎn)程數(shù)據(jù)訪(fǎng)問(wèn)協(xié)議直接讀取第二輸出數(shù)據(jù)緩存中的數(shù)據(jù)并存儲(chǔ)到第一搬運(yùn)執(zhí)行體的第一輸出數(shù)據(jù)緩存中或者采用以太網(wǎng)協(xié)議請(qǐng)求第二數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件讀取第二輸出數(shù)據(jù)緩存中的數(shù)據(jù)并接收第二數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件發(fā)送來(lái)的數(shù)據(jù)以便存儲(chǔ)到第一搬運(yùn)執(zhí)行體的第一輸出數(shù)據(jù)緩存中。

根據(jù)公開(kāi)的用于靜態(tài)分布式計(jì)算架構(gòu)的數(shù)據(jù)交換系統(tǒng)，其中所述第一數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件包括：請(qǐng)求描述隊(duì)列管理單元，用于在計(jì)算架構(gòu)初始化時(shí)針對(duì)存在通信連接關(guān)系的第一計(jì)算設(shè)備和第二計(jì)算設(shè)備生成一個(gè)或多個(gè)第一請(qǐng)求描述隊(duì)列；數(shù)據(jù)讀取單元，基于第一搬運(yùn)執(zhí)行體的發(fā)出第一命令，將第一命令中的讀取描述插入與第一搬運(yùn)執(zhí)行體對(duì)應(yīng)的第一請(qǐng)求描述隊(duì)列；以及回調(diào)任務(wù)單元，基于第一搬運(yùn)執(zhí)行體的發(fā)出第一命令，第一請(qǐng)求描述隊(duì)列中的所述讀取描述之后插入一個(gè)或多個(gè)讀取回調(diào)描述，并所述讀取回調(diào)描述在出隊(duì)時(shí)被執(zhí)行。

根據(jù)公開(kāi)的用于靜態(tài)分布式計(jì)算架構(gòu)的數(shù)據(jù)交換系統(tǒng)，其中所述第一數(shù)據(jù)搬運(yùn)請(qǐng)求匯集組件的數(shù)據(jù)通信單元基于所述請(qǐng)求描述隊(duì)列管理單元中的請(qǐng)求描述隊(duì)列中的每個(gè)讀取描述，采用第一計(jì)算設(shè)備和第二計(jì)算設(shè)備之間的直接遠(yuǎn)程數(shù)據(jù)訪(fǎng)問(wèn)協(xié)議直接讀取第二輸出數(shù)據(jù)緩存中的數(shù)據(jù)并存儲(chǔ)到第一搬運(yùn)執(zhí)行體的第一輸出數(shù)據(jù)緩存中。