[發明專利]聯邦學習的方法、裝置和芯片

在審

• 申請號: 202010593841.3
• 申請日: 2020-06-23
• 公開（公告）號: CN111898764A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 邵云峰;郭凱洋;文森特-莫恩斯;汪軍;楊春春
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種聯邦學習的方法，其特征在于，包括：

第一節點從第二節點接收聯邦模型的參數的先驗分布，其中所述聯邦模型為參數服從分布的機器學習模型；

所述第一節點根據所述聯邦模型的參數的先驗分布和所述第一節點的本地訓練數據，訓練得到所述第一節點的本地模型的參數的后驗分布。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

所述第一節點根據所述本地模型的參數的后驗分布，確定所述本地模型的不確定度；

當所述本地模型的不確定度滿足第一預設條件時，所述第一節點向所述第二節點發送所述本地模型的參數的后驗分布。

3.根據權利要求2所述的方法，其特征在于，所述本地模型的不確定度是基于以下信息中的至少一種度量的：所述本地模型的參數的后驗分布的方差，所述本地模型的參數的后驗分布的收斂速度，或者所述本地模型的參數的后驗分布的推斷準確率。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

所述第一節點根據所述本地模型的第一參數的后驗分布，確定所述第一參數的不確定度，其中，所述本地模型包括至少一個參數，所述第一參數為所述至少一個參數中的任意一個；

當所述第一參數的不確定度滿足第二預設條件時，所述第一節點向所述第二節點發送所述第一參數的后驗分布。

5.根據權利要求4所述的方法，其特征在于，所述第一參數的不確定度是基于所述第一參數的后驗分布的方差度量的。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

所述第一節點根據所述本地模型的參數的后驗分布，確定所述本地模型的不確定度；

當所述本地模型的不確定度滿足第一預設條件時，所述第一節點根據所述本地模型的第一參數的后驗分布，確定所述第一參數的不確定度，其中，所述本地模型包括至少一個參數，所述第一參數為所述至少一個參數中的任意一個；

當所述第一參數的不確定度滿足第二預設條件時，所述第一節點向所述第二節點發送所述第一參數的后驗分布。

7.根據權利要求1-6中任一項所述的方法，其特征在于，所述聯邦模型的參數的先驗分布包括多個局部先驗分布，所述多個局部先驗分布一一對應多個貝葉斯模型，

所述第一節點根據所述聯邦模型的參數的先驗分布和所述第一節點的本地訓練數據，訓練得到所述第一節點的本地模型的參數的后驗分布，包括：

所述第一節點根據所述多個局部先驗分布與所述本地訓練數據的匹配度，確定所述第一節點的本地模型的參數的先驗分布；

所述第一節點根據所述本地模型的參數的先驗分布和所述本地訓練數據，訓練得到所述本地模型的參數的后驗分布。

8.根據權利要求7所述的方法，其特征在于，所述聯邦學習包括多輪迭代，所述本地模型的參數的后驗分布為經過本輪迭代得到的本地模型的參數的后驗分布，

所述第一節點根據所述多個局部先驗分布與所述本地訓練數據的匹配度，確定所述第一節點的本地模型的參數的先驗分布，包括：

所述第一節點根據所述多個局部先驗分布與歷史后驗分布之間的差異，確定所述第一節點的本地模型的參數的先驗分布，其中所述歷史后驗分布為所述第一節點在所述本輪迭代之前得到的本地模型的參數的后驗分布。

9.根據權利要求8所述的方法，其特征在于，所述本地模型的參數的先驗分布為所述多個局部先驗分布中的與所述歷史后驗分布差異最小的先驗分布；或者，所述本地模型的參數的先驗分布為所述多個局部先驗分布的加權和，其中所述多個局部先驗分布在所述加權和中分別所占的權重由所述多個局部先驗分布與所述歷史后驗分布之間的差異確定。

10.根據權利要求1所述的方法，其特征在于，所述方法還包括：

所述第一節點向所述第二節點發送所述本地模型的參數的后驗分布。