[發明專利]使用局部敏感散列的聯合機器學習

在審

• 申請號: 202180054710.0
• 申請日: 2021-07-20
• 公開（公告）號: CN116134448A
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 王世強;G·科利斯;T·薩羅尼迪斯
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

1.一種使用局部敏感散列以用于在聯合機器學習中動態地選擇客戶端的計算機實現的方法，所述方法包括：

由聯合機器學習系統中的服務器從所述聯合機器學習系統中的相應客戶端接收相應局部敏感散列向量，所述相應局部敏感散列向量基于訓練目標函數的相應梯度向量而被計算；

由所述服務器基于所述相應局部敏感散列向量將所述相應客戶端分組到相應集群中；

由所述服務器通過從所述相應集群中的每個集群挑選至少一個客戶端來選擇用于進一步參與所述聯合機器學習的所述相應客戶端的子集；以及

其中在所述聯合機器學習中使用所述相應局部敏感散列向量來對傳輸和處理模型參數進行加速。

2.根據權利要求1所述的計算機實現的方法，還包括：

由所述服務器確定新輪次客戶端選擇是否被需要；

響應于確定所述新輪次客戶端選擇被需要，由所述服務器請求所述相應客戶端發送相應新局部敏感散列向量，所述相應新局部敏感散列向量基于所述訓練目標函數的相應當前梯度向量被計算；

由所述服務器基于所述相應新局部敏感散列向量將所述相應客戶端重新分組到相應新集群中；以及

由所述服務器通過從所述相應新集群中的每個相應新集群挑選至少一個客戶端，選擇用于進一步參與所述聯合機器學習的所述相應客戶端的新子集。

3.根據權利要求2所述的計算機實現的方法，還包括：

響應于確定所述新輪次客戶端選擇不被需要，由所述服務器保持用于進一步參與所述聯合機器學習的所述相應客戶端的所述子集。

4.根據權利要求2所述的計算機實現的方法，其中響應于以下條件中的至少一個條件，所述服務器發起所述新輪次客戶端選擇：在所述相應客戶端的所述子集中的大量所選擇的客戶端變得不可用，所述相應客戶端的所述子集的成本已經被充分改變，所述模型參數朝向與先前訓練周期充分不同的方向或以與先前訓練周期充分不同的幅度被更新，以及已經經過預定時間量或預定迭代次數。

5.根據權利要求1所述的計算機實現的方法，還包括：

由所述服務器向所述相應客戶端發送所述模型參數；

由所述相應客戶端使用相應局部數據集和所述模型參數來計算所述相應梯度向量；

由所述相應客戶端計算所述相應局部敏感散列向量；以及

由所述相應客戶端向所述服務器發送所述相應局部敏感散列向量。

6.根據權利要求5所述的計算機實現的方法，還包括：

為了計算所述相應局部敏感散列向量，由所述相應客戶端將所述相應梯度向量投影到低維度空間中。

7.根據權利要求6所述的計算機實現的方法，其中所述相應客戶端開始于發送具有較低維度的所述相應局部敏感散列向量；其中，響應于確定所述相應局部敏感散列向量的更高準確度被需要，所述服務器請求所述相應客戶端發送具有更高維度的所述相應局部敏感散列向量，直到所述服務器被滿足于被包括在所述相應局部敏感散列向量中的接收到的信息。

8.一種使用局部敏感散列以用于在聯合機器學習中動態地選擇客戶端的計算機實現的方法，所述方法包括：

由聯合機器學習系統中的服務器從所述聯合機器學習系統中的相應客戶端接收相應局部敏感散列向量，所述相應局部敏感散列向量基于訓練目標函數的相應梯度向量被計算；

由所述服務器通過解決優化問題以最小化針對所述相應客戶端的子集的梯度發散來找到所述相應客戶端的所述子集，其中所述相應局部敏感散列向量被用于解決所述優化問題；

由所述服務器選擇用于進一步參與所述聯合機器學習的所述相應客戶端的所述子集；以及

其中在所述聯合機器學習中使用所述相應局部敏感散列向量來加速傳輸和處理模型參數。