[發(fā)明專利]一種自適應網絡拓撲的分布式ADMM機器學習方法

有效

• 申請?zhí)枺?/td>: 202110691239.8
• 申請日: 2021-06-22
• 公開（公告）號: CN113408741B
• 公開（公告）日: 2022-12-27
• 發(fā)明（設計）人: 曾帥;張燁;肖俊;林海韜
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅

1.一種自適應網絡拓撲的分布式ADMM機器學習方法，其特征在于，包括以下步驟：

將節(jié)點分為1個管理節(jié)點與多個工作節(jié)點，并且將工作節(jié)點抽象為上層節(jié)點與下層節(jié)點；針對連通網絡將全局凸優(yōu)化問題分解成若干個局部凸優(yōu)化問題并進行求解，并通過協(xié)調局部最優(yōu)解得到全局最優(yōu)解，其中機器學習方法包含節(jié)點探測與迭代計算兩部分；節(jié)點探測部分包括上下層節(jié)點歸屬更新以及上下層節(jié)點通信以及管理節(jié)點與上層節(jié)點通信，迭代計算部分上下層相關節(jié)點數(shù)據(jù)通信與單次迭代計算，在節(jié)點探測過程中，工作節(jié)點將會運行迭代計算部分的更新，除此之外由上層節(jié)點在每次迭代完成時向管理節(jié)點反饋單次迭代完成；在選擇上層節(jié)點位置時通過貪心思想避免遍歷所有可能性，并采用動態(tài)選擇，使網絡中鏈路延遲的影響盡可能小；

所述節(jié)點探測部分具體包括以下步驟：

1)管理節(jié)點下發(fā)探測啟動clustering start指令至上層節(jié)點，并記錄當前時間t_s；

2)上層節(jié)點i接收clustering start指令后下發(fā)數(shù)據(jù)至對應下層節(jié)點列表L_i中的節(jié)點；

3)下層節(jié)點j接收數(shù)據(jù)并保存，直到接收到所有對應上層節(jié)點列表U_j中的節(jié)點數(shù)據(jù)，進行計算操作，完成后將數(shù)據(jù)返回給所有對應上層節(jié)點U_j；

4)上層節(jié)點i接收數(shù)據(jù)并保存，直到接收到所有對應下層節(jié)點列表L_i中的節(jié)點數(shù)據(jù)，進行計算操作，完成后將數(shù)據(jù)返回給所有對應下層節(jié)點L；

5)上層節(jié)點向管理節(jié)點發(fā)送一次迭代完成iter over指令；

6)管理節(jié)點等待接收所有上層節(jié)點iter over指令并記錄，當僅剩一個上層節(jié)點對應信息未收到時，將對應上層節(jié)點取消，獲取當前時間t_c，通過t_c-t_s獲得單次完整系統(tǒng)迭代所需時間t_l，將其保存在迭代時間集合T中，若t_i為迭代時間集合T中最小值，即t_i＝minT，則保存當前系統(tǒng)上層節(jié)點集合U，否則不更新U；

7)管理節(jié)點下發(fā)節(jié)點歸屬更新update指令至所有上層與下層節(jié)點，節(jié)點收指令后進行對應節(jié)點歸屬更新操作；

8)重復流程3至流程7，直到網絡中只剩下一個上層節(jié)點，此時管理節(jié)點保存的上層節(jié)點集合U為最終上層節(jié)點集合；

9)管理節(jié)點下發(fā)探測完成指令至所有上層節(jié)點與下層節(jié)點，節(jié)點收到指令后進行節(jié)點歸屬更新操作。

2.根據(jù)權利要求1所述的一種自適應網絡拓撲的分布式ADMM機器學習方法，其特征在于，用于求解正則化線性回歸問題，即其中A為m×n階矩陣，b為m階向量，λ為常數(shù)，x為n階向量。

3.根據(jù)權利要求1所述的一種自適應網絡拓撲的分布式ADMM機器學習方法，其特征在于，上層節(jié)點和下層節(jié)點之間包含一種相關節(jié)點歸屬關系，即下層節(jié)點和有鄰居關系的上層節(jié)點以及距離最近的上層節(jié)點相關；上層節(jié)點和有鄰居關系的下層節(jié)點相關；若下層節(jié)點到該上層節(jié)點為到所有上層節(jié)點中距離最近，則上層節(jié)點與該下層節(jié)點也相關；每個下層節(jié)點可能與多個上層節(jié)點相關，每個上層節(jié)點也可能與多個下層節(jié)點相關。

4.根據(jù)權利要求1所述的一種自適應網絡拓撲的分布式ADMM機器學習方法，其特征在于，每個下層節(jié)點保存本地變量x與每個相關上層節(jié)點i對應的變量u_i，每個上層節(jié)點保存本地變量z，所有變量x,u,z均為n階向量，最初始狀態(tài)均為n階零向量，且與權利要求2中變量x同階。