[發(fā)明專利]分布式隨機梯度下降的安全聯(lián)合

在審

• 申請?zhí)枺?/td>: 202080079660.7
• 申請日: 2020-11-05
• 公開（公告）號: CN114731274A
• 公開（公告）日: 2022-07-08
• 發(fā)明（設計）人: J.K.拉達克里希南;G.托馬斯;A.維爾馬
• 申請（專利權）人: 國際商業(yè)機器公司
• 主分類號: H04L9/08
• 分類號: H04L9/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 陳金林

實施例涉及以分布式、聯(lián)合、私有和安全的方式基于迭代算法來訓練機器學習模型。參與實體以協(xié)作關系注冊。將注冊的參與實體布置在拓撲中，建立拓撲通信方向。每個注冊的參與實體接收公共附加同態(tài)加密(AHE)密鑰，并且本地機器學習模型權重是利用接收的公鑰加密的。響應于拓撲通信方向，將加密的本地機器學習模型權重選擇性地聚合并分發(fā)給拓撲中的一個或多個參與實體。利用對應的私有AHE密鑰，對加密的本地機器學習模型權重的聚合的總和進行解密。加密的本地機器學習模型權重的解密的聚合的總和與注冊的參與實體共享。

技術領域

本發(fā)明總體上涉及基于梯度下降來訓練機器學習模型，包括深度神經網絡。更具體地，實施例涉及用于基于迭代算法以分布式、聯(lián)合、私有和安全方式訓練機器學習模型的協(xié)作。

背景技術

人工智能(AI)涉及針對與人類相關的計算機和計算機行為的計算機科學領域。AI是指當機器基于信息能夠做出決定時的智能，這使得在給定主題中成功的機會最大化。更具體地，AI能夠從數據集學習以解決問題并提供相關推薦。例如，在人工智能計算機系統(tǒng)領域中，自然語言系統(tǒng)(諸如IBM人工智能計算機系統(tǒng)或其他自然語言詢問應答系統(tǒng))基于系統(tǒng)獲得的知識來處理自然語言。為了處理自然語言，可以用從數據庫或知識語料庫導出的數據來訓練系統(tǒng)，但是由于多種原因，所得的結果可能是不正確的或不準確的。

機器學習(ML)是人工智能(AI)的子集，它利用算法從數據中學習并基于此數據創(chuàng)建遠見(foresight)。ML是通過模型的創(chuàng)建來應用AI，所述模型包括可以通過執(zhí)行未顯式編程的任務來演示學習行為的神經網絡。深度學習是一種ML類型，在該ML類型中，系統(tǒng)可以通過使用基于先前層的輸出的多層選擇來完成復雜任務，從而創(chuàng)建越來越智能且更抽象的結論。深度學習采用神經網絡(在本文中被稱為人工神經網絡)、對輸入和輸出之間的復雜關系進行建模并標識其中的模式。

AI的核心和相關聯(lián)的推理在于相似性的概念。理解自然語言和對象的過程需要從可能具有挑戰(zhàn)性的關系角度推理。結構(包括靜態(tài)結構和動態(tài)結構)規(guī)定給定確定輸入的確定輸出或動作。更具體地，所確定的輸出或動作基于結構內的顯式或固有關系。這種布置對于選擇的情況和條件可以是令人滿意的。然而，應當理解，動態(tài)結構固有地經受改變，并且輸出或動作可以相應地經受改變。

發(fā)明內容

在本發(fā)明的一個方面，提供了一種與人工智能(AI)平臺一起使用以訓練機器學習模型的系統(tǒng)。處理單元可操作地耦合到存儲器并且與AI平臺通信，AI平臺嵌入有注冊管理器、加密管理器和實體管理器形式的工具。注冊管理器用于將參與實體注冊成協(xié)作關系，將注冊實體布置在拓撲中，并建立拓撲通信方向。加密管理器用于生成公共附加同態(tài)加密(AHE)密鑰并將其分發(fā)給每個注冊的實體。實體管理器用于利用對應的分布式AHE密鑰本地引導實體本地機器學習模型權重的加密。實體管理器進一步用于響應于拓撲通信方向，選擇性地聚合加密的本地機器學習權重，并將聚合的權重分發(fā)給拓撲中的一個或多個實體。加密管理器利用對應的私有AHE密鑰對加密的本地機器學習模型權重的聚合的總和進行解密，并且將聚合的總和分發(fā)給拓撲中的每個實體。加密管理器進一步起作用以與注冊的參與實體共享加密的本地機器學習模型權重的解密的聚合的總和。

在另一方面中，提供了一種用于訓練機器學習模型的計算機程序產品。所述計算機程序產品包括計算機可讀存儲媒質，所述計算機可讀存儲媒質具有隨其包含的程序代碼，所述程序代碼可由處理器執(zhí)行用于以協(xié)作關系注冊參與實體，將注冊的實體布置在拓撲中，以及建立拓撲通信方向。提供程序代碼用于生成公共附加同態(tài)加密(AHE)密鑰并將其分發(fā)給每個注冊的實體。程序代碼利用對應的分布式AHE密鑰本地引導實體本地機器學習模型權重的加密。本地機器學習模型權重被選擇性地聚合，并且聚合的權重響應于拓撲通信方向而被分布到拓撲中的一個或多個實體。進一步提供程序代碼用于利用對應的私有AHE密鑰對加密的本地機器學習模型權重的聚合的總和進行解密。將解密的聚合的總和分發(fā)到拓撲中的每個實體，其中加密的本地機器學習模型權重的解密的聚合的總和與注冊的參與實體共享。