[發明專利]一種基于樹狀拓撲結構的聯邦學習方法及裝置

在審

• 申請號: 201911000573.3
• 申請日: 2019-10-21
• 公開（公告）號: CN110728376A
• 公開（公告）日: 2020-01-24
• 發明（設計）人: 黃安埠
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 11291 北京同達信恒知識產權代理有限公司
• 代理人: 彭燕

本申請提供一種基于樹狀拓撲結構的聯邦學習方法及裝置，涉及機器學習技術領域，用以解決聯邦聚合時間過長及網絡傳輸壓力大的問題。所述方法的樹狀拓撲結構包括至少兩層結構，每層結構包括至少一個節點，每個節點對應一個訓練模型，所述方法包括：若滿足預設觸發條件，則對所述樹狀拓撲結構當前層的節點進行抽樣處理；確定所述進行抽樣處理后的當前層節點對應的訓練模型，對所述確定的訓練模型進行聯邦聚合。該方法減輕分層的樹狀拓撲結構在進行聯邦聚合時的網絡傳輸壓力，且加快聯邦聚合的速度。

技術領域

本申請涉及機器學習技術領域，尤其涉及一種基于樹狀拓撲結構的聯邦學習方法及裝置。

背景技術

在當前標準的聯邦模型結構包括一個服務端和多個客戶端，為了解決客戶端數量過多造成服務端存儲壓力大以及網絡傳輸壓力大的問題，常常采用分層的樹狀拓撲結構緩解上述問題，參見圖1，圖1給出了一種三層的樹狀拓撲結構，觸發進行聯邦模型聚合時，根據已知的聯邦聚合關系，首先由第三層各個訓練模型進行聯邦聚合，得到第二層各個訓練模型，如訓練模型131、訓練模型132以及訓練模型132對應的訓練模型進行聯邦聚合，得到訓練模型121對應的訓練模型，其他訓練模型的聯邦聚合可參照上述描述。

但是分層的樹狀拓撲結構在當前層進行聯邦聚合時，必須等待當前層的下一層的聯邦聚合完成時才能執行，且只要上述下一層的任何一個聯邦聚合沒有完成時，都有可能導致當前層的聯邦聚合無限等待。

綜上所述，基于分層的樹狀拓撲結構在進行聯邦聚合時，存在聯邦聚合時間過長，網絡傳輸壓力大，以及無法保證聯邦聚合的成功。

發明內容

本申請實施例提供一種基于樹狀拓撲結構的聯邦學習方法及裝置，以至少減輕分層的樹狀拓撲結構在進行聯邦聚合時的網絡傳輸壓力以及加快聯邦聚合的速度。

本申請第一方面，提供一種基于樹狀拓撲結構的聯邦學習方法，所述樹狀拓撲結構包括至少兩層結構，每層結構包括至少一個節點，每個節點對應一個訓練模型，包括：

若滿足預設觸發條件，則對所述樹狀拓撲結構的當前層節點進行抽樣處理；

確定所述進行抽樣處理后的當前層節點對應的訓練模型，對所述確定的訓練模型進行聯邦聚合。

在一種可能的實現方式中，所述確定的訓練模型進行聯邦聚合，包括：

對所述確定的訓練模型進行聯邦聚合，得到至少一個當前父層的節點對應的訓練模型，所述當前父層為所述當前層節點的父節點所在的層。

在一種可能的實現方式中，所述對所述樹狀拓撲結構的當前層節點進行抽樣處理，包括：

從所述當前層節點中抽樣出至少一個當前層節點；

刪除所述至少一個當前層節點對應的所述訓練模型，或者對所述至少一個當前層節點進行標注，以使所述至少一個當前層節點對應的訓練模型不參與所述聯邦聚合。

在一種可能的實現方式中，所述預設觸發條件包括如下一種或多種：

所述當前層節點的個數大于第一預設值；

所述當前層節點對應的訓練模型不符合第一預設聯邦模型條件。

在一種可能的實現方式中，所述從所述當前層節點中抽樣出至少一個當前層節點，包括：

隨機從所述當前層節點中抽樣出至少一個當前層節點；或

從所述當前層節點中抽樣出預設節點個數的當前層節點。

在一種可能的實現方式中，所述從所述當前層節點中抽樣出預設節點個數的當前層節點之前，還包括：

確定所述當前層節點的節點個數，根據節點個數和預設節點個數的預設映射關系，確定所述當前層節點的節點個數對應的預設節點個數。