[發明專利]通信高效聯合學習

有效

• 申請號: 201710874932.2
• 申請日: 2017-09-25
• 公開（公告）號: CN107871160B
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 休·布倫丹·麥克馬漢;大衛·莫里斯·培根;雅各布·科內奇尼;于鑫楠
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;安翔

本申請涉及通信高效聯合學習。本公開提供一種用于在諸如例如聯合學習框架的機器學習框架內傳輸模型更新的有效率通信技術，該聯合學習框架中在大量客戶端上分布的訓練數據上訓練高品質集中化模型，每個客戶端具有不可靠的網絡連接和低計算能力。在一個示例聯合學習設置下，在多輪中的每一輪中，每個客戶端獨立地基于其本地數據來更新模型并且將更新的模型傳送回到服務器，其中所有客戶端側更新被用來更新全局模型。本公開提供降低通信成本的系統和方法。特別地，本公開提供至少：結構化更新方案，其中模型更新被約束為小并且為概略的更新方案，其中，模型更新在發送到服務器之前被壓縮。

技術領域

本公開大體涉及機器學習。更具體地，本公開涉及通信高效聯合學習。

背景技術

隨著數據集越來越大，模型越來越復雜，機器學習越來越多地需要在多臺機器上分布模型參數的優化。現有機器學習算法通常僅適用于受控環境(諸如數據中心)，其中數據在機器間適當地分布，并且高吞吐量光纖網絡可用。

發明內容

本公開的實施例的方面和優點將部分地在下文的描述中闡述，或者可以從說明書中學習，或者可以通過實踐實施例而學習。

本公開的一個示例方面針對于一種用于通信高效機器學習的計算機實現的方法。該方法包括：由客戶端計算設備獲得機器學習模型的參數集的全局值。該方法包括：由客戶端計算設備至少部分地基于本地數據集來訓練機器學習模型以獲得更新矩陣，更新矩陣描述機器學習模型的參數集的經更新值。更新矩陣被約束為具有預定義的結構。本地數據集由客戶端計算設備本地存儲。該方法包括：由客戶端計算設備將描述更新矩陣的信息傳送到服務器計算設備。

本公開的另一示例方面涉及一種客戶端計算設備。該客戶端設備包括至少一個處理器；以及，存儲指令的至少一個非暫時計算機可讀介質，該指令在由至少一個處理器執行時使得客戶端計算設備執行操作。該操作包括獲得機器學習模型的參數集的全局值。該操作包括：至少部分地基于本地數據集來訓練機器學習模型以獲得更新矩陣，該更新矩陣描述機器學習模型的參數集的經更新值。本地數據集由客戶端計算設備本地存儲。該操作包括編碼更新矩陣以獲得經編碼更新。該操作包括將經編碼更新傳送到服務器計算設備。

本公開的另一示例方面涉及存儲指令的至少一個非暫時性計算機可讀介質，該指令在由客戶端計算設備執行時使得客戶端計算設備實現操作。該操作包括獲得機器學習模型的參數集的全局值。該操作包括至少部分地基于本地數據集來訓練機器學習模型以獲得更新矩陣，該更新矩陣描述機器學習模型的參數集的經更新值。本地數據集由客戶端計算設備本地存儲。更新矩陣被約束為低秩矩陣和稀疏矩陣中的至少一種。該操作包括編碼更新矩陣以獲得經編碼更新。操作包括將經編碼更新傳送到服務器計算設備。

本公開的其它方面涉及各種系統、裝置、非暫時性計算機可讀介質、用戶界面、和電子設備。

在本說明書中描述的主題的特定實施例可以被實現以便達到以下技術效果中的一個或多個。例如，在各個實施方式中，可以通過在多個客戶端計算設備(例如，用戶移動設備)上本地訓練機器學習模型來實現有效率處理，從而充分利用多個設備的計算能力。此外，由客戶端計算設備基于本地數據集來訓練機器學習模型，可以提高訓練過程的安全性。這是因為，例如，模型更新的信息相較于數據本身較不敏感。隱私敏感的用戶數據保留在用戶的計算設備上，并且不會上傳到服務器。相反，只有較不敏感的模型更新被傳輸。

此外，由于互聯網連接的不對稱性質，從客戶端到服務器的上行鏈路可能比從服務器到客戶端的下行鏈路更慢，使得每個客戶端設備傳輸完整的、無限制模型可能是沒有效率的。然而，通過根據各個實施例(例如通過將更新矩陣約束為低秩矩陣和稀疏矩陣中的至少一個)來限制更新矩陣具有預定義的結構，達到了機器學習框架內的更有效率通信，例如從網絡的角度、從客戶端設備工作負荷/資源的角度、和/或從試圖執行盡可能多輪的學習/盡可能快更新的角度。