[發(fā)明專利]一種數(shù)聯(lián)網(wǎng)上數(shù)據(jù)高效分發(fā)方法與裝置

在審

• 申請?zhí)枺?/td>: 202211194855.3
• 申請日: 2022-09-29
• 公開（公告）號: CN115623000A
• 公開（公告）日: 2023-01-17
• 發(fā)明（設(shè)計）人: 黃罡;蔡華謙;李影;郭京申
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L12/44
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 茍冬梅

本申請實(shí)施例提供了一種數(shù)聯(lián)網(wǎng)上數(shù)據(jù)高效分發(fā)方法與裝置，包括：通過本地客戶端執(zhí)行規(guī)劃算法，從所有數(shù)聯(lián)網(wǎng)其他節(jié)點(diǎn)中選取至少部分目標(biāo)節(jié)點(diǎn)構(gòu)建為樹狀結(jié)構(gòu)的節(jié)點(diǎn)拓?fù)浼希辉诒镜乜蛻舳耍鶕?jù)傳輸樹結(jié)構(gòu)生成樹狀網(wǎng)絡(luò)規(guī)劃文件，并與將要分發(fā)的目標(biāo)數(shù)據(jù)文件打包上傳至傳輸樹根節(jié)點(diǎn)，依靠樹狀網(wǎng)絡(luò)的傳輸關(guān)系將上述數(shù)據(jù)包分發(fā)至數(shù)聯(lián)網(wǎng)中的所有節(jié)點(diǎn)；依靠建立樹狀傳輸樹向數(shù)聯(lián)網(wǎng)所有節(jié)點(diǎn)實(shí)行數(shù)據(jù)分發(fā)，能夠大幅提高數(shù)聯(lián)網(wǎng)節(jié)點(diǎn)之間的信息傳輸效率。

技術(shù)領(lǐng)域

本申請涉及數(shù)聯(lián)網(wǎng)領(lǐng)域，特別涉及一種數(shù)聯(lián)網(wǎng)上數(shù)據(jù)高效分發(fā)方法與裝置。

背景技術(shù)

數(shù)聯(lián)網(wǎng)是基于軟件定義，通過以數(shù)據(jù)為中心的開放式軟件體系結(jié)構(gòu)和標(biāo)準(zhǔn)化互操作協(xié)議，將大規(guī)模的各種異構(gòu)數(shù)據(jù)平臺和系統(tǒng)連接起來，在“物理/機(jī)器”互聯(lián)網(wǎng)之上形成的“虛擬/數(shù)據(jù)”網(wǎng)絡(luò)。現(xiàn)如今，大規(guī)模集群服務(wù)器之間的數(shù)據(jù)交互傳輸主要依靠服務(wù)器-客戶機(jī)(C/S,Client-Sever)式的架構(gòu)組網(wǎng)。

客戶機(jī)通過局域網(wǎng)與中心服務(wù)器連接，接受用戶請求，并通過網(wǎng)絡(luò)向服務(wù)器提出請求，對數(shù)據(jù)庫進(jìn)行操作；C/S架構(gòu)能夠充分發(fā)揮客戶端電腦的處理能力，使得許多工作可以在客戶端本地設(shè)備處理完成后再提交至服務(wù)器，減輕了對服務(wù)器本身的運(yùn)行數(shù)據(jù)負(fù)荷。

但現(xiàn)有技術(shù)方案里，隨著集群服務(wù)運(yùn)算需求的增加，用于數(shù)據(jù)處理的本地設(shè)備數(shù)量也在隨之增長；全部依靠C/S架構(gòu)組網(wǎng)的數(shù)據(jù)傳輸模式，對于面向大規(guī)模的跨云跨地域的數(shù)聯(lián)網(wǎng)系統(tǒng)，各節(jié)點(diǎn)之間的文件數(shù)據(jù)傳輸與運(yùn)行任務(wù)分發(fā)速率受限于中心服務(wù)器的上傳帶寬上限，伴隨數(shù)聯(lián)網(wǎng)系統(tǒng)規(guī)模的不斷增長，數(shù)據(jù)分發(fā)效率持續(xù)降低。

發(fā)明內(nèi)容

本申請實(shí)施例提供一種數(shù)聯(lián)網(wǎng)上數(shù)據(jù)高效分發(fā)方法、裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)，以解決相關(guān)技術(shù)中在面向大規(guī)模的跨云跨地域數(shù)聯(lián)網(wǎng)系統(tǒng)節(jié)點(diǎn)之間的文件數(shù)據(jù)傳輸與運(yùn)行任務(wù)分發(fā)過程中，分發(fā)速率受限于中心服務(wù)器的上傳帶寬上限，數(shù)據(jù)傳輸效率低的問題。

第一方面，本申請實(shí)施例提供了一種數(shù)據(jù)分發(fā)方法，應(yīng)用于數(shù)聯(lián)網(wǎng)中的客戶端，所述方法包括：

獲取數(shù)聯(lián)網(wǎng)中各節(jié)點(diǎn)的節(jié)點(diǎn)信息，所述節(jié)點(diǎn)信息用于表征所述節(jié)點(diǎn)的屬性特征；

根據(jù)所述節(jié)點(diǎn)信息，按照預(yù)設(shè)規(guī)劃算法，從所有所述節(jié)點(diǎn)中選取至少部分目標(biāo)節(jié)點(diǎn)，并將所有所述目標(biāo)節(jié)點(diǎn)構(gòu)建為樹狀結(jié)構(gòu)的節(jié)點(diǎn)拓?fù)浼希?/p>

根據(jù)所述節(jié)點(diǎn)拓?fù)浼希蓸錉罹W(wǎng)絡(luò)規(guī)劃文件，所述樹狀網(wǎng)絡(luò)規(guī)劃文件包括：所述目標(biāo)節(jié)點(diǎn)的標(biāo)識、節(jié)點(diǎn)類型以及所述目標(biāo)節(jié)點(diǎn)在樹狀結(jié)構(gòu)中的位置信息；

根據(jù)所述目標(biāo)節(jié)點(diǎn)的標(biāo)識，向所述目標(biāo)節(jié)點(diǎn)分發(fā)目標(biāo)數(shù)據(jù)包與所述樹狀網(wǎng)絡(luò)規(guī)劃文件。

在一種可選實(shí)現(xiàn)方式中，所述方法還包括：

對所述目標(biāo)節(jié)點(diǎn)進(jìn)行失效檢測；其中，所述失效檢測包括：與所述目標(biāo)節(jié)點(diǎn)建立連接，并獲取連接響應(yīng)結(jié)果；

在所述目標(biāo)節(jié)點(diǎn)的連接響應(yīng)時間大于第一閾值的情況下，判斷所述目標(biāo)節(jié)點(diǎn)為失效節(jié)點(diǎn)；

根據(jù)所述樹狀網(wǎng)絡(luò)規(guī)劃文件獲取所述失效節(jié)點(diǎn)的標(biāo)識，以及所述失效節(jié)點(diǎn)在樹狀結(jié)構(gòu)中的位置信息，并發(fā)送所述失效節(jié)點(diǎn)的標(biāo)識以及位置信息至所述目標(biāo)節(jié)點(diǎn)中的根節(jié)點(diǎn)；

針對所述失效節(jié)點(diǎn)執(zhí)行節(jié)點(diǎn)失效動態(tài)調(diào)節(jié)操作。

在一種可選實(shí)現(xiàn)方式中，所述根據(jù)所述樹狀網(wǎng)絡(luò)規(guī)劃文件獲取所述失效節(jié)點(diǎn)的標(biāo)識，以及所述失效節(jié)點(diǎn)在樹狀結(jié)構(gòu)中的位置信息，并發(fā)送所述失效節(jié)點(diǎn)的標(biāo)識以及位置信息至所述目標(biāo)節(jié)點(diǎn)中的根節(jié)點(diǎn)，包括：

根據(jù)所述樹狀網(wǎng)絡(luò)規(guī)劃文件，將所述失效節(jié)點(diǎn)的節(jié)點(diǎn)信息發(fā)送至所述失效節(jié)點(diǎn)的父節(jié)點(diǎn)；以供所述父節(jié)點(diǎn)繼續(xù)將所述失效節(jié)點(diǎn)的節(jié)點(diǎn)信息向根節(jié)點(diǎn)傳輸；

在所述根節(jié)點(diǎn)接收到所述失效節(jié)點(diǎn)的節(jié)點(diǎn)信息后，通知所述根節(jié)點(diǎn)將所述失效節(jié)點(diǎn)標(biāo)記為異常。