[發(fā)明專利]分布式分散化機器學習模型訓練

在審

• 申請?zhí)枺?/td>: 202110494833.8
• 申請日: 2021-05-07
• 公開（公告）號: CN113673708A
• 公開（公告）日: 2021-11-19
• 發(fā)明（設(shè)計）人: N·沙爾馬;V·R·博杜;A·J·K·K·衡;H·N·譚
• 申請（專利權(quán)）人: 希捷科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 上海專利商標事務(wù)所有限公司 31100
• 代理人: 陳依心;張鑫

1.一種方法，所述方法包括：

在包括一組節(jié)點的網(wǎng)絡(luò)中的第一節(jié)點處接收初始機器學習模型；

應(yīng)用所述第一節(jié)點的本地數(shù)據(jù)來更新所述初始機器學習模型的參數(shù)以生成更新的機器學習模型；

將所述更新的機器學習模型從所述第一節(jié)點傳輸?shù)剿鼍W(wǎng)絡(luò)中的第一相鄰節(jié)點；

在所述第一節(jié)點處從所述第一相鄰節(jié)點接收修改的機器學習模型，所述修改的機器學習模型具有基于所述第一相鄰節(jié)點的本地數(shù)據(jù)設(shè)置的參數(shù)；

在所述第一節(jié)點處基于所述修改的機器學習模型來修改所述更新的機器學習模型，以及

應(yīng)用所述更新的機器學習模型以在所述第一節(jié)點處執(zhí)行操作。

2.如權(quán)利要求1所述的方法，還包括：

從所述網(wǎng)絡(luò)中的所述組節(jié)點確定包括所述第一相鄰節(jié)點的多個相鄰節(jié)點；以及

將所述更新的機器學習模型的所述副本從所述第一節(jié)點傳輸?shù)剿龆鄠€相鄰節(jié)點。

3.如權(quán)利要求2所述的方法，還包括：

確定所述多個相鄰節(jié)點包括確定在所述第一節(jié)點的所選擇數(shù)量的分離度內(nèi)的節(jié)點；以及

分離度包括由所述網(wǎng)絡(luò)的單個邊緣分開的兩個節(jié)點。

4.如權(quán)利要求3所述的方法，還包括：

將所述更新的機器學習模型的所述副本從所述第一節(jié)點傳輸?shù)剿龆鄠€相鄰節(jié)點包括：

將所述更新的機器學習模型的所述副本和所選擇數(shù)量的分離度從所述第一節(jié)點傳輸?shù)剿龅谝还?jié)點的一度鄰居；以及

指示所述第一度鄰居將所述更新的機器學習模型轉(zhuǎn)發(fā)給所述一度鄰居的各個鄰居，同時減少對應(yīng)于所選擇數(shù)量的分離度的計數(shù)器。

5.如權(quán)利要求1所述的方法，還包括：

在所述第一節(jié)點處訪問具有所述網(wǎng)絡(luò)中不同節(jié)點之間的相似度值的數(shù)值表示的相似度矩陣數(shù)據(jù)結(jié)構(gòu)；以及

將所述第一相鄰節(jié)點確定為與所述第一節(jié)點共享大于所選擇的閾值的相似度值的節(jié)點。

6.如權(quán)利要求5所述的方法，還包括：

在所述第一節(jié)點處基于所述修改的機器學習模型來修改所述更新的機器學習模型，包括：

基于所述第一相鄰節(jié)點與所述第一節(jié)點的所述相似度值，將加權(quán)因子應(yīng)用于所述修改的機器學習模型；以及

基于所述加權(quán)因子來聚合所述更新的機器學習模型和所述修改的機器學習模型。

7.如權(quán)利要求1所述的方法，還包括：

應(yīng)用所述第一節(jié)點的所述本地數(shù)據(jù)來更新所述初始機器學習模型的參數(shù)包括調(diào)節(jié)所述初始機器學習模型的所述參數(shù)，而不將所述本地數(shù)據(jù)直接結(jié)合到所述初始機器學習模型中；以及

不將所述本地數(shù)據(jù)傳輸?shù)剿鼍W(wǎng)絡(luò)中的另一個節(jié)點。

8.如權(quán)利要求1所述的方法，還包括：

以對等方式將所述更新的機器學習模型提供給其他節(jié)點，而不受中央處理機構(gòu)的影響，所述中央處理機構(gòu)被配置為控制所述網(wǎng)絡(luò)中的機器學習模型的傳播。

9.一種存儲器裝置，所述存儲器裝置存儲指令，所述指令在被執(zhí)行時使處理器執(zhí)行一種方法，所述方法包括：

在包括一組節(jié)點的網(wǎng)絡(luò)中的第一節(jié)點處接收包括所述處理器的所述第一節(jié)點、初始機器學習模型；

應(yīng)用所述第一節(jié)點的本地數(shù)據(jù)來更新所述初始機器學習模型的參數(shù)以生成更新的機器學習模型；

將所述更新的機器學習模型從所述第一節(jié)點傳輸?shù)剿鼍W(wǎng)絡(luò)中的第一相鄰節(jié)點；

在所述第一節(jié)點處從所述第一相鄰節(jié)點接收修改的機器學習模型，所述修改的機器學習模型具有基于所述第一相鄰節(jié)點的本地數(shù)據(jù)設(shè)置的參數(shù)；

在所述第一節(jié)點處基于所述修改的機器學習模型來修改所述更新的機器學習模型，以及

應(yīng)用所述更新的機器學習模型以在所述第一節(jié)點處執(zhí)行操作。

10.一種設(shè)備，包括：

網(wǎng)絡(luò)中的第一節(jié)點，所述第一節(jié)點包括計算系統(tǒng)，所述計算系統(tǒng)具有：

網(wǎng)絡(luò)接口，所述網(wǎng)絡(luò)接口被配置為將所述第一節(jié)點連接至所述網(wǎng)絡(luò)；

非易失性存儲器，所述非易失性存儲器被配置為存儲本地數(shù)據(jù)；

電路，所述電路被配置為執(zhí)行分布式機器學習模型訓練過程，包括：

接收初始機器學習模型；

應(yīng)用所述本地數(shù)據(jù)來更新所述初始機器學習模型的參數(shù)以生成更新的機器學習模型；

經(jīng)由所述網(wǎng)絡(luò)接口將所述更新的機器學習模型的副本從所述第一節(jié)點傳輸?shù)剿鼍W(wǎng)絡(luò)中的多個相鄰節(jié)點；

經(jīng)由所述網(wǎng)絡(luò)接口從第一相鄰節(jié)點接收修改的機器學習模型，所述修改的機器學習模型具有基于所述第一相鄰節(jié)點的本地數(shù)據(jù)設(shè)置的參數(shù)；

基于所述改進的機器學習模型來修改所述更新的機器學習模型；以及

應(yīng)用所述更新的機器學習模型來控制所述第一節(jié)點處的操作。