[發明專利]一種自適應網絡拓撲的分布式ADMM機器學習方法

有效

• 申請號: 202110691239.8
• 申請日: 2021-06-22
• 公開（公告）號: CN113408741B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 曾帥;張燁;肖俊;林海韜
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅

本發明請求保護一種自適應網絡拓撲的分布式ADMM機器學習方法，屬于機器學習領域，包括以下步驟：將節點分為1個管理節點與多個工作節點，并且將工作節點抽象為上層節點與下層節點；針對連通網絡將全局凸優化問題分解成若干個局部凸優化問題并進行求解，并通過協調局部最優解得到全局最優解，其中機器學習方法包含節點探測與迭代計算兩部分；在節點探測過程中，工作節點將會運行迭代計算部分的更新，除此之外由上層節點在每次迭代完成時向管理節點反饋單次迭代完成；在選擇上層節點位置時通過貪心思想避免遍歷所有可能性，并采用動態選擇，使網絡中鏈路延遲的影響盡可能小。

技術領域

本發明屬于機器學習技術領域，具體屬于一種基于自適應網絡拓撲的分布式ADMM機器學習方法。

背景技術

近年來，隨著信息產業高速發展，互聯網規模不斷擴大，大數據與機器學習在業務中使用的越來越頻繁。在機器學習領域，大量的高維數據來自不同的節點，對計算能力提出了很高的要求，在這種情況下，單個節點很難解決此類問題，但分布式機器學習算法則能較好適應這種情況。

交替方向乘子法(Alternating Direction Method of Multipliers，ADMM)是機器學習中廣泛應用的一種約束問題優化方法。它通過分解全局問題為局部問題，大大降低單次問題的成本，并且局部問題可以通過協調得到最終全局問題解。其有較大的擴展與優化的可能性，從最初的對偶上升、對偶分解與增廣拉格朗日乘數法，到由Stephen Boyd提出ADMM，再到后期不斷有人針對各種特定情況提出變種ADMM，其在凸優化問題中的處理優勢被運用于各種領域中。

根據ADMM機器學習過程中迭代通信的方式，可以將其簡單分為集中式與分布式兩種模式。這里的集中式區別于常見的單機集中式，即系統仍舊是分布在若干個節點上，但所有節點都會與一個特定的節點進行通信。網絡中存在一個中心節點與若干個普通節點，任意兩個普通節點之間不會互相通信，任意一個普通節點將會與中心節點進行數據交換。中心節點在與所有普通節點通信后獲取所有普通節點的局部子問題最優解，將所有解進行協調運算，得到一次迭代完成后的結果，然后將結果再次下發給所有節點重新運算。不同于集中式，網絡中沒有某一個特定的中心節點，網絡中可以有多個中間節點，普通節點可以就近選擇中間節點，最終再由中心節點進行數據匯總協調。將一個節點的壓力分散到多個節點，更為符合互聯網發展方向。該模式可以通過選擇合適的中間節點避開質量較差的鏈路，從而加快迭代速度。且由于有多個中間節點，不會因為某一個中心節點的癱瘓導致整個系統的崩潰。

在分布式計算的情況下，節點之間需要不斷通信來進行數據交互，并借此加快數據收斂速度。但由于節點之間通信需要借助網絡，整體運行會受到網絡情況的影響。若運算中存在不合適的節點交互，受到網絡時延的影響，將會大幅度拖慢整體計算過程，且若所選對象不合適，可能會造成相應通信團體的數據被污染，從而導致數據收斂速度的減慢與收斂精度誤差的增加。因此如何為每個獨立的節點選擇合適的通信對象團體成為一個不可避免地問題。本發明針對網絡鏈路中的延遲對分布式系統的影響，提出了一種基于自適應網絡拓撲的分布式ADMM機器學習方法。

發明內容

本發明旨在解決以上現有技術的問題。提出了一種提高系統健壯性的情況下通過自適應網絡情況，使得節點分布更為合理，減少網絡鏈路延遲影響自適應網絡拓撲的分布式ADMM機器學習方法。本發明的技術方案如下：

一種自適應網絡拓撲的分布式ADMM機器學習方法，其包括以下步驟：