[發明專利]基于自適應聚合稀疏通信的學習方法、裝置、設備及介質

在審

• 申請號: 202111470644.3
• 申請日: 2021-12-03
• 公開（公告）號: CN114118381A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 鄧曉歌;李東升;孫濤
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 彭小蘭

1.一種基于自適應聚合稀疏通信的學習方法，其特征在于，所述方法包括：

獲取自適應聚合規則并根據所述自適應聚合規則確定目標節點；

對所述目標節點對應的目標信息進行稀疏處理；

根據預設序列結合李雅普諾夫函數計算收斂結果；

對深度神經網絡模型進行訓練以獲得學習方法。

2.如權利要求1所述的方法，其特征在于，所述獲取自適應聚合規則并根據所述自適應聚合規則確定目標節點的步驟，包括：

獲取預先設定的自適應聚合規則；

在與服務器進行通信的節點之間根據所述自適應聚合規則將所有節點劃分為兩個不相交的集合M^t和

在檢測到進行第t次迭代時，使用M^t中節點和新梯度信息，并在中重用節點舊的壓縮梯度信息將迭代通信輪次從M縮小到|M^t|以確定目標節點。

3.如權利要求1所述的方法，其特征在于，所述對所述目標節點對應的目標信息進行稀疏處理的步驟，包括：

對所述目標節點對應的目標信息在迭代時選擇top-k梯度分量，并將其余梯度分量置位零，使得零元素免于通信。

4.如權利要求3所述的方法，其特征在于，所述對所述目標節點對應的目標信息在迭代時選擇top-k梯度分量，并將其余梯度分量置位零，使得零元素免于通信的步驟之后，還包括：

使用誤差反饋技術，將稀疏化產生的誤差納入下一步以保證收斂性；

定義輔助序列其中是m節點上的第t次迭代時的誤差。

5.如權利要求1所述的方法，其特征在于，所述根據預設序列結合李雅普諾夫函數計算收斂結果的步驟，包括：

記且學習率選擇為

其中c_γ0是一個常數，得出：

以此來收斂計算結果。

6.如權利要求1所述的方法，其特征在于，所述對深度神經網絡模型進行訓練以獲得學習方法的步驟，包括：

采用以下迭代格式進行訓練，

其中，

7.如權利要求1至6任一項所述的方法，其特征在于，所述獲取自適應聚合規則并根據所述自適應聚合規則確定目標節點的步驟之后，還包括：

結合自適應聚合規則，利用如下迭代格式進行迭代

其中M^t和分別為第t次迭代中與服務器進行通信和不進行通信的工作集合。

8.一種基于自適應聚合稀疏通信的學習裝置，其特征在于，所述裝置包括：

節點確定模塊，用于獲取自適應聚合規則并根據所述自適應聚合規則確定目標節點；

稀疏處理模塊，用于對所述目標節點對應的目標信息進行稀疏處理；

結果獲取模塊，用于根據預設序列結合李雅普諾夫函數計算收斂結果；

模型訓練模塊，用于對深度神經網絡模型進行訓練以獲得學習方法。

9.一種基于自適應聚合稀疏通信的學習設備，其特征在于，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的基于自適應聚合稀疏通信的學習程序，所述基于自適應聚合稀疏通信的學習程序配置為實現如權利要求1至7中任一項所述的基于自適應聚合稀疏通信的學習方法的步驟。

10.一種介質，其特征在于，所述介質上存儲有基于自適應聚合稀疏通信的學習程序，所述基于自適應聚合稀疏通信的學習程序被處理器執行時實現如權利要求1至7任一項所述的基于自適應聚合稀疏通信的學習方法的步驟。