[發明專利]基于XGBoost的聯邦學習訓練及預測方法以及裝置

在審

• 申請號: 202111596095.4
• 申請日: 2021-12-24
• 公開（公告）號: CN114372516A
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 王麗;孟慶樹;張新訪;董逢華
• 申請（專利權）人: 武漢天喻信息產業股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 秦曼妮

1.一種基于XGBoost的聯邦學習訓練及預測方法，應用于一個發起方和多個合作方，其特征在于，該方法包括以下步驟：

發起方利用自己持有的特征數據創建第一棵決策樹；

發起方和合作方協作依次建立第m棵決策樹，m＝2,3,...,M，其中M為訓練的決策樹總數，訓練得到基于XGBoost的聯邦學習模型；建立第m棵決策樹的過程中，發起方計算每個真實結點樣本空間的最優特征及特征閾值，同時為每組最優特征及特征閾值額外匹配一個結點樣本空間作為假結點樣本空間，將每組最優特征及特征閾值及其對應的兩個結點樣本空間發送給對應特征持有方，特征持有方根據收到的特征及特征閾值劃分當前結點樣本空間，并將結果通知發起方；

利用上述訓練得到的聯邦學習模型對待預測對象的標簽進行預測。

2.如權利要求1所述的基于XGBoost的聯邦學習訓練及預測方法，其特征在于，發起方擁有公鑰PK和私鑰SK，將公鑰PK共享給合作方。

3.如權利要求2所述的基于XGBoost的聯邦學習訓練及預測方法，其特征在于，所述發起方和合作方協作建立第m棵決策樹的創建過程如下：

步驟1：發起方從自己持有的特征中選擇最優特征作為樹的根結點，并劃分子結點樣本空間；使用公鑰PK加密訓練樣本損失函數梯度，將樣本損失函數梯度密文和子結點樣本空間發送給各合作方；

步驟2：合作方依據自身特征對當前結點樣本空間進行分區，聚合同一分區內樣本的梯度密文并將各聚合結果發送給發起方；

步驟3：發起方計算每個真實結點樣本空間的最優特征及特征閾值，同時為每組最優特征及特征閾值額外匹配一個結點樣本空間作為假結點樣本空間，將每組最優特征及特征閾值及其對應的兩個結點樣本空間發送給對應特征持有方；

步驟4：特征持有方根據收到的特征及特征閾值劃分當前結點樣本空間，將劃分結果發送給發起方，并本地存儲特征及特征閾值；

步驟5：發起方利用真實劃分結果更新模型，并將所有劃分結果發送給所有合作方；

重復步驟2-步驟5，直到達到預設的停止條件，完成第m棵樹的創建。

4.如權利要求1所述的基于XGBoost的聯邦學習訓練及預測方法，其特征在于：當發起方為最優特征及特征閾值隨機匹配結點樣本空間時，優先選擇假結點樣本空間。

5.如權利要求1所述的基于XGBoost的聯邦學習訓練及預測方法，其特征在于，所述利用上述訓練得到的聯邦學習模型對待預測對象的標簽進行預測具體包括：

步驟1：合作方獲取待預測對象ID，使用己方訓練所得最優特征及特征閾值與該對象相應特征值進行比較，并將結果發送給發起方；

步驟2：發起方利用來自合作方的比較結果集合及訓練得到的聯邦學習模型，預測對象標簽。

6.一種基于XGBoost的聯邦學習訓練及預測裝置，應用于一個發起方和多個合作方，其特征在于，該裝置包括：

第一棵決策樹建立模塊，用于發起方利用自己持有的特征數據創建第一棵決策樹；

第m棵決策樹建立模塊，用于發起方和合作方協作依次建立第m棵決策樹，m＝2,3,...,M，其中M為訓練的決策樹總數，訓練得到基于XGBoost的聯邦學習模型；建立第m棵決策樹的過程中，發起方計算每個真實結點樣本空間的最優特征及特征閾值，同時為每組最優特征及特征閾值額外匹配一個結點樣本空間作為假結點樣本空間，將每組最優特征及特征閾值及其對應的兩個結點樣本空間發送給對應特征持有方，特征持有方根據收到的特征及特征閾值劃分當前結點樣本空間，并將結果通知發起方；

標簽預測模塊，用于利用上述訓練得到的聯邦學習模型對待預測對象的標簽進行預測。

7.一種電子設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1-5任一所述方法的步驟。

8.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-5任一所述方法的步驟。