[發明專利]聯邦學習系統及實現多方聯合處理任務的方法與設備

有效

• 申請號: 202211068859.7
• 申請日: 2022-09-02
• 公開（公告）號: CN115169587B
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 張冠一;王哲
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F9/50;H04L69/08;H04L41/16
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 王明遠

1.一種聯邦學習系統，其特征在于，所述系統包括至少兩個參與方，任意一個參與方包括：

至少一個第一節點，所述第一節點上部署至少一個聯邦學習框架，所述聯邦學習框架支持至少一種聯邦學習算法；以及

至少一個第二節點，所述第二節點上部署至少一個聯邦學習算子，所述聯邦學習算子為對至少部分所述聯邦學習算法在不同聯邦學習框架下存在的差異進行去差異化處理得到的，

其中，響應于調用所述聯邦學習算子的任務請求，所述第二節點將所述任務請求中的輸入參數轉換為所述聯邦學習算子所對應的聯邦學習算法所需要的格式，并將轉換后的輸入參數轉發至支持所述聯邦學習算法的聯邦學習框架所在的第一節點，由所述第一節點基于轉換后的輸入參數執行所述聯邦學習算法。

2.根據權利要求1所述的系統，其特征在于，

所述第二節點還將所述第一節點執行所述聯邦學習算法后的輸出結果轉換為符合所述聯邦學習算子的格式要求的輸出參數。

3.根據權利要求1所述的系統，其特征在于，

任意一個所述聯邦學習算子對應機器學習建模流程中的一個建模步驟，所述聯邦學習算子是對所述聯邦學習框架中與所述建模步驟對應的聯邦學習算法部分進行封裝得到的，

所述機器學習建模流程包括以下建模步驟中的任意一個或多個：數據預處理；樣本對齊；特征工程；模型訓練與評估。

4.根據權利要求1所述的系統，其特征在于，

所述聯邦學習算子為基于統一封裝規范對至少部分所述聯邦學習算法進行封裝得到的，不同聯邦學習算子具有格式統一的輸入參數和輸出參數。

5.根據權利要求4所述的系統，其特征在于，

所述輸入參數包括輸入數據集和訓練參數，并且/或者

所述輸出參數包括輸出模型和輸出數據集。

6.根據權利要求5所述的系統，其特征在于，所述輸入參數還包括合作方信息、協作協議信息、版本信息中的任意一項或多項，

所述合作方信息用于表征其他參與方中支持所述聯邦學習算子所對應的聯邦學習算法的聯邦學習框架和/或所述聯邦學習框架所在的第一節點，

所述協作協議信息用于約定參與方中支持所述聯邦學習算子所對應的聯邦學習算法的聯邦學習框架參與聯邦學習建模任務時使用的協議，

所述版本信息用于表征所述聯邦學習算子所對應的聯邦學習算法和/或聯邦學習框架的版本。

7.根據權利要求1所述的系統，其特征在于，

不同的聯邦學習框架部署在不同的第一節點上。

8.根據權利要求1所述的系統，其特征在于，

所述第一節點上部署了至少一個所述聯邦學習框架的Docker鏡像，Docker鏡像包括所述聯邦學習框架、所述聯邦學習框架的系統環境以及所述聯邦學習框架的依賴包。

9.根據權利要求1所述的系統，其特征在于，

屬于同一參與方的第一節點和第二節點部署于同一分布式管理集群環境中。

10.根據權利要求1所述的系統，其特征在于，

所述第二節點上還部署了至少一個非聯邦學習算法和/或非聯邦學習算子。

11.根據權利要求1至10中任一項所述的系統，其特征在于，還包括：

算子管理及任務調度平臺，所述第二節點與所述算子管理及任務調度平臺連接，所述算子管理及任務調度平臺用于管理所述第二節點上部署的算子，并為參與方提供針對聯邦學習建模任務的調度服務。