[發明專利]一種基于機器異構性的聯邦學習方法

在審

• 申請號: 202110279647.2
• 申請日: 2021-03-16
• 公開（公告）號: CN112990488A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 郭嵩;吳非杰;王號召
• 申請（專利權）人: 香港理工大學深圳研究院
• 主分類號: G06N20/20
• 分類號: G06N20/20
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 朱陽波;王永文

本發明公開了一種基于機器異構性的聯邦學習方法，方法包括：接收服務器統一發送的初始模型、全局梯度和全局模型參數；根據初始模型、全局梯度和全局模型參數，得到預估梯度校準值；其中，預估梯度校準值用于表征各邊緣設備的本地梯度與服務器的全局梯度的偏差以及各邊緣設備因本地更新次數不同而產生的偏差；基于預估梯度校準值，得到目標本地梯度和目標本地模型參數；將所述目標本地梯度和所述目標本地模型參數發送至所述服務器，以使所述服務器生成更新后的全局梯度和全局模型參數。本發明實施例通過對各邊緣設備的預估梯度校準技術來實現移除各邊緣設備與服務器的偏差，同時補償本地更新次數不同導致的偏差，從而提高聯邦學習的訓練效率。

技術領域

本發明涉及人工智能技術領域，尤其涉及的是一種基于機器異構性的聯邦學習方法。

背景技術

當前針對聯邦學習的算法主要基于假設其能夠在同樣時間內在本地訓練一定次數。這個方法在同構環境下能夠提高訓練的效率以及通訊開銷，然而在絕大部分的分布式場景都屬于異構環境，因此，這種計算方法并不具備實用性。如果以異步的方式解決這一問題的話，會存在一些數據無法充分利用(例如：如果一個邊緣設備過久未與服務器更新的話，服務器中的異步算法可能會舍棄邊緣設備提交的信息)。當各邊緣設備的本地更新次數是相同的情況下，利用傳統的隨機梯度下降法SGD進行聯邦學習的效果很好，而當各邊緣設備本地更新次數不同的情況下，利用傳統的隨機梯度下降法SGD進行聯邦學習，則出現需要優化的目標函數和實際優化的目標函數不一致的情況。

因此，現有技術還有待改進和發展。

發明內容

本發明要解決的技術問題在于，針對現有技術的上述缺陷，提供一種基于機器異構性的聯邦學習方法，旨在解決現有技術中聯邦學習中的異構網絡在進行模型訓練時訓練效率低的問題。

本發明解決問題所采用的技術方案如下：

第一方面，本發明實施例提供一種基于機器異構性的聯邦學習方法，其中，所述方法包括：

接收服務器統一發送的初始模型、全局梯度和全局模型參數；

根據所述初始模型、所述全局梯度和所述全局模型參數，得到預估梯度校準值；其中，所述預估梯度校準值用于表征各邊緣設備的本地梯度與服務器的全局梯度的偏差以及各邊緣設備因本地更新次數不同而產生的偏差；

基于所述預估梯度校準值，得到目標本地梯度和目標本地模型參數；

將所述目標本地梯度和所述目標本地模型參數發送至所述服務器，以使所述服務器生成更新后的全局梯度和全局模型參數。

在一種實現方式中，其中，所述接收服務器統一發送的初始模型、全局梯度和全局模型參數之后包括：

將所述全局模型參數作為初始本地模型參數。

在一種實現方式中，其中，所述根據所述初始模型、所述全局梯度和所述全局模型參數，得到預估梯度校準值包括：

基于預設的本地數據和所述初始模型，得到本地梯度；

基于所述全局梯度、所述全局模型參數和所述本地梯度，得到預估梯度校準值。

在一種實現方式中，其中，所述基于所述全局梯度、所述全局模型參數和所述本地梯度，得到預估梯度校準值包括：

基于所述全局梯度和所述本地梯度，得到第一偏差值，其中，所述第一偏差值用于表征各邊緣設備的本地梯度與服務器的全局梯度的偏差；

基于所述全局模型參數和所述初始本地模型參數，得到第二偏差值，其中，所述第二偏差值用于表征各邊緣設備因本地更新次數不同而產生的偏差；

基于所述第一偏差值和所述第二偏差值，得到預估梯度校準值。