[發(fā)明專利]一種帶寬感知的選擇性數(shù)據(jù)多播方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210085437.4
• 申請(qǐng)日: 2022-01-25
• 公開（公告）號(hào): CN114461392B
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 羅壽西;范平志;李可;邢煥來
• 申請(qǐng)（專利權(quán)）人: 西南交通大學(xué)
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06N20/00
• 代理公司: 成都信博專利代理有限責(zé)任公司 51200
• 代理人: 舒啟龍

本發(fā)明公開了一種帶寬感知的選擇性數(shù)據(jù)多播方法，具體為：通過在多播任務(wù)挑選接收節(jié)點(diǎn)時(shí)，根據(jù)可用帶寬和負(fù)載，優(yōu)先選擇在公平性分配下能夠分得帶寬最多的接收節(jié)點(diǎn)選擇；計(jì)算出所有多播的基本多播速率值之后，再貪婪地依次檢查，如果再選擇一個(gè)接收節(jié)點(diǎn)多播速率依然滿足，則將其選擇；再進(jìn)一步貪婪地依次檢查，各個(gè)多播源和對(duì)應(yīng)被選中的接收節(jié)點(diǎn)之間是否有剩余的帶寬，如果有，則增加到該多播的傳輸速率中。本發(fā)明提高了多播傳輸效率，降低網(wǎng)絡(luò)完成受控的部分?jǐn)?shù)據(jù)同步所需的時(shí)間，為分布式機(jī)器學(xué)習(xí)模型訓(xùn)練等應(yīng)用提供了性能更高的數(shù)據(jù)多播傳輸控制方法。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)傳輸技術(shù)領(lǐng)域，尤其涉及一種帶寬感知的選擇性數(shù)據(jù)多播方法。

背景技術(shù)

在諸如基于數(shù)據(jù)并行的分布機(jī)器學(xué)習(xí)模型訓(xùn)練等場(chǎng)景中，參與訓(xùn)練的工作節(jié)點(diǎn)之間需要周期性地將各自訓(xùn)練獲得的新模型或者模型的更新進(jìn)行同步以實(shí)現(xiàn)協(xié)作。針對(duì)這類通信需求，目前有研究者已經(jīng)提出了多種實(shí)現(xiàn)方案。其中的一類方案是讓每個(gè)工作節(jié)點(diǎn)將所學(xué)習(xí)到新模型或者模型分解后的數(shù)據(jù)，多播地傳輸給其他節(jié)點(diǎn)。假設(shè)分布式系統(tǒng)中一共有n個(gè)工作節(jié)點(diǎn)參與訓(xùn)練，最近的一些研究表明，許多分布式機(jī)器學(xué)習(xí)訓(xùn)練任務(wù)具有容忍只有部分節(jié)點(diǎn)參與每次同步的的特性。受此驅(qū)動(dòng)，當(dāng)一個(gè)工作節(jié)點(diǎn)完成一輪本地訓(xùn)練后，現(xiàn)有基于模型多播的參數(shù)同步方案隨機(jī)地為其挑選p個(gè)其他工作節(jié)點(diǎn)(其中1＝p＝n-1)作為多播的接收節(jié)點(diǎn)以執(zhí)行模型參數(shù)的部分同步。需要注意的是，不同的模型所能夠容忍的p/n比例值不一樣，因此實(shí)際中一個(gè)分布式訓(xùn)練任務(wù)的p值可以由使用者根據(jù)經(jīng)驗(yàn)和當(dāng)前系統(tǒng)的參數(shù)n來設(shè)置。當(dāng)p取n-1時(shí)，選擇性多播即退化到讓向所有其他節(jié)點(diǎn)進(jìn)行多播的情形。

這種隨機(jī)地挑選部分接收節(jié)點(diǎn)的方案雖然能夠有效減少網(wǎng)絡(luò)中數(shù)據(jù)傳輸?shù)牧浚谝欢ǔ潭壬夏軌蚪档蛿?shù)據(jù)分發(fā)所需的時(shí)間開銷。然而，考慮到不同工作節(jié)點(diǎn)的可用帶寬往往不同，為各個(gè)多播傳輸隨機(jī)地選擇p個(gè)接收節(jié)點(diǎn)會(huì)有一定的概率選擇到帶寬較低的工作節(jié)點(diǎn)，所能帶來的網(wǎng)絡(luò)優(yōu)化效果并不穩(wěn)定，導(dǎo)致參數(shù)同步所需的時(shí)間通常依然很大，有顯著的優(yōu)化空間。

術(shù)語解釋：

多播：多播一詞用于描述數(shù)據(jù)將從一個(gè)發(fā)送節(jié)點(diǎn)發(fā)送給多個(gè)接收節(jié)點(diǎn)，并不限定這種多播技術(shù)采用何種方式實(shí)現(xiàn)。例如，如果網(wǎng)絡(luò)支持IP多播，那么可以在網(wǎng)絡(luò)層實(shí)現(xiàn)，如果不支持，則可以在應(yīng)用層通過發(fā)起多個(gè)一對(duì)一的單播傳輸來實(shí)現(xiàn)。此外，還可以是其他的多播實(shí)現(xiàn)，或者多種多播實(shí)現(xiàn)技術(shù)的結(jié)合。

發(fā)明內(nèi)容

針對(duì)分布式模型訓(xùn)練等需要在工作節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)同步的分布式應(yīng)用，當(dāng)應(yīng)用本身能夠容忍只有部分節(jié)點(diǎn)參與數(shù)據(jù)同步時(shí)，為了能根據(jù)工作節(jié)點(diǎn)可用網(wǎng)絡(luò)帶寬的情況來選擇數(shù)據(jù)接收節(jié)點(diǎn)開展多播傳輸，降低網(wǎng)絡(luò)完成受控的部分?jǐn)?shù)據(jù)同步所需的時(shí)間，最終達(dá)到提升分布式應(yīng)用性能的目的。本發(fā)明提供一種帶寬感知的選擇性數(shù)據(jù)多播方法。

本發(fā)明的一種帶寬感知的選擇性數(shù)據(jù)多播方法，包括以下步驟：

步驟1：參數(shù)設(shè)定。

設(shè)分布式訓(xùn)練中包含n個(gè)工作節(jié)點(diǎn)，編號(hào)分別為0,1,2,...,i,...,n-1；對(duì)于第i個(gè)工作節(jié)點(diǎn)，使用in[i]和out[i]分別表示其下行和上行可用帶寬值，使用fanin[i]記錄其當(dāng)前被其他多少個(gè)工作節(jié)點(diǎn)選為多播傳輸?shù)慕邮展?jié)點(diǎn)，使用fanout[i]記錄已為其選中的接收節(jié)點(diǎn)數(shù)目。

s為一個(gè)n*n的二維數(shù)組；s[i][j]表示當(dāng)節(jié)點(diǎn)i作為多播源節(jié)點(diǎn)時(shí)，截止當(dāng)前已經(jīng)有連續(xù)多少輪多播更新沒有將節(jié)點(diǎn)j選擇為節(jié)點(diǎn)i的接收節(jié)點(diǎn)，其初始值為0；所有的s[i][i]值恒等于0。

為每個(gè)節(jié)點(diǎn)所選中的接收節(jié)點(diǎn)的情況記錄在二維0-1數(shù)組r中；r[i][j]為1表明工作節(jié)點(diǎn)j被選為工作節(jié)點(diǎn)i所發(fā)出多播的接收節(jié)點(diǎn)；r[i][j]為0表明未被選中。

k為正整數(shù)參數(shù)。

p為正整數(shù)參數(shù)。

rate[i]表示工作節(jié)點(diǎn)i的多播速率。