[發明專利]基于分布式架構的聯邦學習平臺、方法、設備和存儲介質

在審

• 申請號: 202011280929.6
• 申請日: 2020-11-16
• 公開（公告）號: CN113923225A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 王佩琪;孫孟哲
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: H04L67/104
• 分類號: H04L67/104;H04L9/40;H04L67/63;G06F21/60;G06F21/62;G06N20/00
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 孫寶海;袁禮君

1.一種基于分布式架構的聯邦學習平臺，其特征在于，包括：

子節點設備，獲取用于進行聯邦學習的部分特征數據，全部所述子節點設備的部分特征數據匯聚后包含所述聯邦學習的全部特征數據；

主節點設備，連接至所述子節點設備，用于接收所述子節點設備的聯邦學習的請求指令，根據所述請求指令獲取所述子節點設備中的第一類子節點設備發送的部分特征數據，并根據所述請求指令將所述部分特征數據分發至所述子節點設備中的第二類子節點設備，所述第二類子節點設備根據接收的部分特征數據執行所述聯邦學習中的部分聯邦學習。

2.根據權利要求1所述的基于分布式架構的聯邦學習平臺，其特征在于，

任兩個所述子節點設備之間的數據交互通過所述主節點設備進行中轉。

3.根據權利要求1所述的基于分布式架構的聯邦學習平臺，其特征在于，

所述子節點設備根據所述請求指令確定對應的公鑰-私鑰對，并將所述公鑰反饋至所述主節點設備，所述子節點設備通過所述私鑰對待發送的部分特征數據進行加密，并將加密后的部分特征數據轉發至所述主節點設備。

4.根據權利要求1或2所述的基于分布式架構的聯邦學習平臺，其特征在于，

所述子節點設備根據所述部分特征數據進行部分聯邦學習，所述部分聯邦學習的訓練包括橫向訓練、縱向訓練和轉移訓練中的至少一種。

5.根據權利要求1或2所述的基于分布式架構的聯邦學習平臺，其特征在于，

所述主節點設備還用于獲取所述子節點設備執行所述部分聯邦學習的進度，以及獲取所述部分聯邦學習的輸出結果。

6.根據權利要求1或2所述的基于分布式架構的聯邦學習平臺，其特征在于，

所述主節點設備還用于獲取所述子節點設備執行所述部分聯邦學習的運行狀態信息，所述運行狀態信息包括數據交互量和/或資源占用率。

7.根據權利要求1或2所述的基于分布式架構的聯邦學習平臺，其特征在于，還包括：

元數據庫，連接至所述子節點設備，所述元數據數據庫存儲有元數據，所述子節點設備通過對所述元數據進行預處理得到所述特征數據。

8.根據權利要求6所述的基于分布式架構的聯邦學習平臺，其特征在于，

所述主節點設備還用于確定聯邦學習訓練任務，以及根據所述聯邦學習訓練任務向所述子節點設備的分配部分聯邦學習訓練任務，以及根據所述聯邦學習訓練任務在所述子節點設備之間進行訓練數據的交互。

9.根據權利要求6所述的基于分布式架構的聯邦學習平臺，其特征在于，

所述元數據庫包括Redis數據庫、Hbase數據庫、Elasticsearch數據庫和Oracle數據庫中的至少一種。

10.一種基于分布式架構的聯邦學習方法，其特征在于，包括：

獲取子節點設備發送的用于進行聯邦學習的部分特征數據，全部所述子節點設備的部分特征數據匯聚后包含所述聯邦學習的全部特征數據；

接收所述子節點設備發送聯邦學習的請求指令；

根據所述請求指令獲取所述子節點設備中的第一類子節點設備發送的部分特征數據，并根據所述請求指令將所述部分特征數據分發至所述子節點設備中的第二類子節點設備，以供所述第二類子節點設備根據接收的部分特征數據執行所述聯邦學習中的部分聯邦學習，所述子節點設備為所述第一類子節點設備或所述第二類子節點設備。

11.根據權利要求10所述的基于分布式架構的聯邦學習方法，其特征在于，還包括：

獲取所述子節點設備發送的數據交互請求和數據包；

解析所述數據交互請求以確定目標子節點設備；

將所述數據包轉發至所述目標子節點設備，所述目標子節點設備為所述第一類子節點設備或所述第二類子節點設備。