[發(fā)明專利]拓?fù)鋱D轉(zhuǎn)換系統(tǒng)及其方法

有效

• 申請?zhí)枺?/td>: 202010090334.8
• 申請日: 2020-02-13
• 公開（公告）號: CN110928697B
• 公開（公告）日: 2020-05-22
• 發(fā)明（設(shè)計(jì)）人: 袁進(jìn)輝;柳俊丞;牛沖;李新奇
• 申請（專利權(quán)）人: 北京一流科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京金訊知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11554
• 代理人: 黃劍飛

本發(fā)明公開了一種將運(yùn)算邏輯節(jié)點(diǎn)拓?fù)鋱D轉(zhuǎn)換為任務(wù)節(jié)點(diǎn)拓?fù)鋱D的方法，包括：通過運(yùn)算任務(wù)節(jié)點(diǎn)部署組件，基于用戶在給定計(jì)算資源的基礎(chǔ)上輸入的任務(wù)描述中的任務(wù)配置數(shù)據(jù)，將運(yùn)算邏輯節(jié)點(diǎn)拓?fù)鋱D中的任意運(yùn)算邏輯節(jié)點(diǎn)的任務(wù)分片到指定計(jì)算資源，從而生成每個運(yùn)算邏輯節(jié)點(diǎn)對應(yīng)一個或多個運(yùn)算任務(wù)節(jié)點(diǎn)，并賦予每個運(yùn)算任務(wù)節(jié)點(diǎn)與所述指定計(jì)算資源對應(yīng)的位置標(biāo)記；以及通過搬運(yùn)任務(wù)節(jié)點(diǎn)插入組件，在第一運(yùn)算任務(wù)節(jié)點(diǎn)的第一位置標(biāo)記和作為其上游運(yùn)算任務(wù)節(jié)點(diǎn)的第二運(yùn)算任務(wù)節(jié)點(diǎn)的第二位置標(biāo)記之間具有不同的位置標(biāo)記時(shí)在所述第一運(yùn)算任務(wù)節(jié)點(diǎn)和第二運(yùn)算任務(wù)節(jié)點(diǎn)之間插入一個或多個搬運(yùn)任務(wù)節(jié)點(diǎn)，從而獲得具有搬運(yùn)任務(wù)節(jié)點(diǎn)的完全任務(wù)節(jié)點(diǎn)拓?fù)鋱D。

技術(shù)領(lǐng)域

本公開涉及一種數(shù)據(jù)處理技術(shù)。更具體地說，本公開涉及一種用于將運(yùn)算邏輯節(jié)點(diǎn)托拓?fù)鋱D轉(zhuǎn)換為任務(wù)節(jié)點(diǎn)拓?fù)鋱D的轉(zhuǎn)換系統(tǒng)及其方法。

背景技術(shù)

隨著分布式計(jì)算的普及，大型的作業(yè)會通過分割而將不同部分的數(shù)據(jù)部署到不同的分布式數(shù)據(jù)處理系統(tǒng)的各個計(jì)算設(shè)備上進(jìn)行處理，這樣，在具體作業(yè)的處理過程中，部署在一個計(jì)算設(shè)備上的計(jì)算中間參數(shù)或結(jié)果會成為另一個計(jì)算設(shè)備上的計(jì)算任務(wù)的輸入數(shù)據(jù)，這樣為了實(shí)現(xiàn)中間參數(shù)的數(shù)據(jù)同步，這會引起計(jì)算設(shè)備之間的數(shù)據(jù)遷移的調(diào)用開銷。而網(wǎng)絡(luò)通信調(diào)用往往是個瓶頸，然后網(wǎng)絡(luò)性能通信的性能不好，就會影響多機(jī)分布式數(shù)據(jù)處理架構(gòu)的加速比和擴(kuò)展性。

隨著各種單一計(jì)算設(shè)備自身的運(yùn)算功能越來越強(qiáng)大，在提高計(jì)算設(shè)備的運(yùn)算速度方面已經(jīng)處于極致狀態(tài)。尤其是隨著計(jì)算速度的提升，數(shù)據(jù)的調(diào)用的速度已經(jīng)落后于數(shù)據(jù)的運(yùn)算速度。因此，數(shù)據(jù)的調(diào)用或遷移成為制約計(jì)算設(shè)備處理數(shù)據(jù)的瓶頸。實(shí)際上，大部分專用AI芯片的研發(fā)人員和用戶通常只關(guān)注計(jì)算部分的功耗和效率，譬如怎么設(shè)計(jì)AI芯片讓它能更高效的執(zhí)行矩陣運(yùn)算，然而比較少關(guān)注數(shù)據(jù)遷移，數(shù)據(jù)轉(zhuǎn)發(fā)和路由的需求，在基于多個芯片協(xié)同執(zhí)行大規(guī)模任務(wù)時(shí)，數(shù)據(jù)遷移無論是從功耗還是延遲都非常顯著。

因此，在現(xiàn)有系統(tǒng)中，數(shù)據(jù)遷移在分布式設(shè)備之間的遷移花費(fèi)了和計(jì)算差不多的時(shí)間成本。如何降低通信開銷，在系統(tǒng)運(yùn)算時(shí)“藏起”這個時(shí)間，以便系統(tǒng)可以充分將硬件資源投入到縮短計(jì)算時(shí)間上，是提高系統(tǒng)效率的關(guān)鍵。此外，在靈活的并行模式(數(shù)據(jù)并行，模型并行甚至是混合并行)中修改數(shù)據(jù)路由模式實(shí)在是非常復(fù)雜。現(xiàn)有的深度學(xué)習(xí)框架都只是實(shí)現(xiàn)模型中的數(shù)據(jù)流圖計(jì)算操作，而不在模型的數(shù)據(jù)流圖中進(jìn)行數(shù)據(jù)遷移操作。這樣做的結(jié)果就是，因?yàn)閿?shù)據(jù)流圖中沒有編碼這些操作，從而無法展現(xiàn)數(shù)據(jù)流引擎自動并行的優(yōu)勢，也會因此使軟件編程工作在同步編程時(shí)陷入所謂的回調(diào)陷阱。

因此，如何使得數(shù)據(jù)搬運(yùn)或數(shù)據(jù)交換在分布式數(shù)據(jù)處理架構(gòu)中與數(shù)據(jù)運(yùn)算一樣被重視，從而使得數(shù)據(jù)搬運(yùn)或數(shù)據(jù)交換像數(shù)據(jù)處理和計(jì)算一樣被視為一等公民，使得數(shù)據(jù)的搬運(yùn)可以實(shí)現(xiàn)靜態(tài)部署，將數(shù)據(jù)搬運(yùn)任務(wù)固定在特定的搬運(yùn)執(zhí)行體中來實(shí)現(xiàn)，從而實(shí)現(xiàn)數(shù)據(jù)交換中的異步的通信，以減少兩個調(diào)用的時(shí)間的開銷，使得數(shù)據(jù)搬運(yùn)和路由可由專用芯片來實(shí)現(xiàn)稱為可能，從而使得整個系統(tǒng)的效率就能最大化，這些是大規(guī)模數(shù)據(jù)處理領(lǐng)域急需解決的問題。

發(fā)明內(nèi)容

本公開的目的在于提供一種解決至少上述問題之一的技術(shù)方案。具體而言，本公開提供一種將運(yùn)算邏輯節(jié)點(diǎn)拓?fù)鋱D轉(zhuǎn)換為任務(wù)節(jié)點(diǎn)拓?fù)鋱D的方法，包括：通過運(yùn)算任務(wù)節(jié)點(diǎn)部署組件，基于用戶在給定計(jì)算資源的基礎(chǔ)上輸入的任務(wù)描述中的任務(wù)配置數(shù)據(jù)，將運(yùn)算邏輯節(jié)點(diǎn)拓?fù)鋱D中的任意運(yùn)算邏輯節(jié)點(diǎn)的任務(wù)分片到指定計(jì)算資源，從而生成每個運(yùn)算邏輯節(jié)點(diǎn)對應(yīng)一個或多個運(yùn)算任務(wù)節(jié)點(diǎn)，并賦予每個運(yùn)算任務(wù)節(jié)點(diǎn)與所述指定計(jì)算資源對應(yīng)的位置標(biāo)記；以及通過搬運(yùn)任務(wù)節(jié)點(diǎn)插入組件，在第一運(yùn)算任務(wù)節(jié)點(diǎn)的第一位置標(biāo)記和作為其上游運(yùn)算任務(wù)節(jié)點(diǎn)的第二運(yùn)算任務(wù)節(jié)點(diǎn)的第二位置標(biāo)記之間具有不同的位置標(biāo)記時(shí)在所述第一運(yùn)算任務(wù)節(jié)點(diǎn)和第二運(yùn)算任務(wù)節(jié)點(diǎn)之間插入一個或多個搬運(yùn)任務(wù)節(jié)點(diǎn)，從而獲得具有搬運(yùn)任務(wù)節(jié)點(diǎn)的完全任務(wù)節(jié)點(diǎn)拓?fù)鋱D。

根據(jù)本公開的將運(yùn)算邏輯節(jié)點(diǎn)拓?fù)鋱D轉(zhuǎn)換為任務(wù)節(jié)點(diǎn)拓?fù)鋱D的方法，其中，當(dāng)?shù)谝晃恢脴?biāo)記指明為第一主機(jī)的第一計(jì)算設(shè)備而第二位置標(biāo)記指明為第一主機(jī)時(shí)，所述搬運(yùn)任務(wù)節(jié)點(diǎn)插入組件在所述第一運(yùn)算任務(wù)節(jié)點(diǎn)和第二運(yùn)算任務(wù)節(jié)點(diǎn)之間只插入一個搬運(yùn)任務(wù)節(jié)點(diǎn)，并賦予所插入的搬運(yùn)任務(wù)節(jié)點(diǎn)第一位置標(biāo)記。