[發明專利]一種基于機器異構性的聯邦學習方法

在審

• 申請號: 202110279647.2
• 申請日: 2021-03-16
• 公開（公告）號: CN112990488A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 郭嵩;吳非杰;王號召
• 申請（專利權）人: 香港理工大學深圳研究院
• 主分類號: G06N20/20
• 分類號: G06N20/20
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 朱陽波;王永文

1.一種基于機器異構性的聯邦學習方法，其特征在于，所述方法包括：

接收服務器統一發送的初始模型、全局梯度和全局模型參數；

根據所述初始模型、所述全局梯度和所述全局模型參數，得到預估梯度校準值；其中，所述預估梯度校準值用于表征各邊緣設備的本地梯度與服務器的全局梯度的偏差以及各邊緣設備因本地更新次數不同而產生的偏差；

基于所述預估梯度校準值，得到目標本地梯度和目標本地模型參數；

將所述目標本地梯度和所述目標本地模型參數發送至所述服務器，以使所述服務器生成更新后的全局梯度和全局模型參數。

2.根據權利要求1所述的基于機器異構性的聯邦學習方法，其特征在于，所述接收服務器統一發送的初始模型、全局梯度和全局模型參數之后包括：

將所述全局模型參數作為初始本地模型參數。

3.根據權利要求2所述的基于機器異構性的聯邦學習方法，其特征在于，所述根據所述初始模型、所述全局梯度和所述全局模型參數，得到預估梯度校準值包括：

基于預設的本地數據和所述初始模型，得到本地梯度；

基于所述全局梯度、所述全局模型參數和所述本地梯度，得到預估梯度校準值。

4.根據權利要求3所述的基于機器異構性的聯邦學習方法，其特征在于，所述基于所述全局梯度、所述全局模型參數和所述本地梯度，得到預估梯度校準值包括：

基于所述全局梯度和所述本地梯度，得到第一偏差值，其中，所述第一偏差值用于表征各邊緣設備的本地梯度與服務器的全局梯度的偏差；

基于所述全局模型參數和所述初始本地模型參數，得到第二偏差值，其中，所述第二偏差值用于表征各邊緣設備因本地更新次數不同而產生的偏差；

基于所述第一偏差值和所述第二偏差值，得到預估梯度校準值。

5.根據權利要求4所述的基于機器異構性的聯邦學習方法，其特征在于，所述基于所述第一偏差值和所述第二偏差值，得到預估梯度校準值包括：

獲取本地更新次數；

根據所述本地更新次數和所述第二偏差值，得到中間第二偏差值；

將所述第一偏差值加上所述中間第二偏差值，得到預估梯度校準值。

6.根據權利要求5所述的基于機器異構性的聯邦學習方法，其特征在于，所述基于所述預估梯度校準值，得到目標本地梯度和目標本地模型參數包括：

獲取數據樣本；其中，所述數據樣本是從邊緣設備的樣本中獲取得到；

根據所述數據樣本和所述初始本地模型參數，得到損失函數偏導數；

根據所述損失函數偏導數，得到目標本地梯度；

根據所述損失函數偏導數、所述初始本地模型參數和所述預估梯度校準值，得到目標本地模型參數。

7.根據權利要求6所述的基于機器異構性的聯邦學習方法，其特征在于，所述根據所述數據樣本和所述初始本地模型參數，得到損失函數偏導數包括：

根據所述數據樣本和所述初始本地模型參數，得到損失函數；

對所述損失函數進行求偏導，得到損失函數偏導數。

8.根據權利要求7所述的基于機器異構性的聯邦學習方法，其特征在于，所述將所述目標本地梯度和所述目標本地模型參數發送至所述服務器，以使所述服務器生成更新后的全局梯度和全局模型參數之后包括：

接收服務器統一發送的更新后的全局梯度和全局模型參數，并重復執行根據所述初始模型、所述全局梯度和所述全局模型參數，得到預估梯度校準值的步驟。

9.一種智能終端，其特征在于，包括有存儲器，以及一個或者一個以上的程序，其中一個或者一個以上程序存儲于存儲器中，且經配置以由一個或者一個以上處理器執行所述一個或者一個以上程序包含用于執行如權利要求1-7中任意一項所述的方法。

10.一種非臨時性計算機可讀存儲介質，其特征在于，當所述存儲介質中的指令由電子設備的處理器執行時，使得電子設備能夠執行如權利要求1-7中任意一項所述的方法。