[發明專利]分布式隨機梯度下降的安全聯合

在審

• 申請號: 202080079660.7
• 申請日: 2020-11-05
• 公開（公告）號: CN114731274A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: J.K.拉達克里希南;G.托馬斯;A.維爾馬
• 申請（專利權）人: 國際商業機器公司
• 主分類號: H04L9/08
• 分類號: H04L9/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 陳金林

1.一種系統，包括：

處理單元，可操作地耦接到存儲器；

人工智能(AI)平臺，與所述處理單元通信，所述AI平臺用于訓練機器學習模型，所述AI平臺包括：

注冊管理器，用于將參與實體注冊成協作關系，將注冊的實體布置在拓撲中，并建立拓撲通信方向；

加密管理器，用于生成公共附加同態加密(AHE)密鑰并將其分發給每個注冊的實體；

實體管理器，用于利用對應的分布式AHE密鑰來本地引導實體本地機器學習模型權重的加密，選擇性地聚合加密的本地機器學習模型權重，以及響應于所述拓撲通信方向，將選擇性地聚合的加密的權重分發給所述拓撲中的一個或多個實體；

所述加密管理器用于利用對應的私有AHE密鑰對加密的本地機器學習模型權重的聚合的總和進行解密，并且將解密的聚合的總和分發給所述拓撲中的每個實體。

2.根據權利要求1所述的系統，其中單個參與實體包括兩個或更多個內部實體，并且進一步包括所述實體管理器用于：

聚合來自本地耦接至所述兩個或更多個內部實體的一個或多個機器學習模型的權重；以及

利用所述公共AHE密鑰對聚合的權重進行本地加密，其中聚合的權重表示同類數據類型。

3.根據權利要求2所述的系統，進一步包括所述實體管理器用于從所述加密管理器接收解密的聚合的總和，并且將聚合的總和傳播到所述兩個或更多個本地耦合的機器學習模型。

4.根據權利要求1所述的系統，其中所述拓撲是環形拓撲，并且進一步包括所述注冊管理器用于向所述拓撲中的每個參與實體分配排名，并且響應于在所述拓撲中分配的排名，在第一拓撲方向上遞增地加密和聚合機器學習模型權重。

5.根據權利要求4所述的系統，進一步包括所述注冊管理器用于響應于可用通信帶寬來修改所述第一拓撲方向。

6.根據權利要求1所述的系統，進一步包括所述注冊管理器用于將所述參與實體布置在完全連接的拓撲中，并且所述系統進一步包括：

所述實體管理器用于參與廣播協議，其中每個參與實體跨所述拓撲廣播加密的本地機器學習模型權重，并且其中所述選擇性地聚合進一步包括：每個參與實體用于對接收的廣播的加密的權重進行本地聚合；以及

所述加密管理器用于對每個本地聚合進行實體參與的驗證。

7.根據權利要求1所述的系統，進一步包括所述實體管理器用于將所述本地機器學習模型權重表示為權重陣列，將加密的陣列劃分為多個兩個或更多個塊，其中塊的量是表示注冊的參與者的量的整數，利用所述AHE公鑰來對每個塊進行本地加密，以及并行地并響應于所述拓撲來同步聚合所述塊。

8.一種用于訓練機器學習模型的計算機程序產品，所述計算機程序產品包括計算機可讀存儲媒質，所述計算機可讀存儲媒質具有隨其包含的程序代碼，所述程序代碼可由處理器執行以：

以協作關系注冊參與實體，將注冊的實體布置在拓撲中，并建立拓撲通信方向；

生成公共附加同態加密(AHE)密鑰并將其分發給每個注冊的實體；

利用對應的分布式AHE密鑰來本地引導實體本地機器學習模型權重的加密，選擇性地聚合加密的本地機器學習模型權重，以及響應于所述拓撲通信方向，將選擇性地聚合的加密的權重分發給所述拓撲中的一個或多個實體；以及

利用對應的私有AHE密鑰對加密的本地機器學習模型權重的聚合的總和進行解密，并且將解密的聚合的總和分發給所述拓撲中的每個實體。

9.根據權利要求8所述的計算機程序產品，其中單個參與實體包括兩個或更多個內部實體，并且進一步包括程序代碼用于：

聚合來自本地耦接至所述兩個或更多個內部實體的一個或多個機器學習模型的權重；以及

利用所述公共AHE密鑰對聚合的權重進行本地加密，其中聚合的權重表示同類數據類型。

10.根據權利要求9所述的計算機程序產品，進一步包括程序代碼用于接收解密的聚合的總和，并且將聚合的總和傳播到所述兩個或更多個內部實體。