[發明專利]一種輕量級分布式聯邦學習系統及方法

在審

• 申請號: 202011102138.4
• 申請日: 2020-10-15
• 公開（公告）號: CN112232518A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 顧見軍;鄧旭宏;周宇峰
• 申請（專利權）人: 成都數融科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 成都熠邦鼎立專利代理有限公司 51263
• 代理人: 李曉英

1.一種輕量級分布式聯邦學習系統，包括主控制端節點和多個協同端節點，其特征在于，還包括：

特征處理模塊：用于主控制端節點通過特征預處理接口，調度各協同端節點進行聯合特征處理；

模型訓練模塊：用于主控制端節點通過模型訓練接口，調度各協同端節點進行聯邦學習的模型訓練；

模型評估模塊：用于主控制端節點通過模型評估接口，聚合各協同端節點的預測結果并評估模型性能；

所述主控制端節點通過加密通信通道與協同端節點進行通信。

2.根據權利要求1所述的一種輕量級分布式聯邦學習系統，其特征在于，所述特征預處理接口具體包括：

預處理中間接口：主控制端將聯邦學習配置信息分發至協同端，調度協同端根據配置信息分割數據集，對本地樣本的局部特征預處理中間指標進行計算，并返回計算的中間指標；

聚合預處理中間指標接口：主控制端通過對各協同端的特征預處理中間指標進行聚合處理，得到聚合的特征預處理指標；

預處理同步接口：主控制端將聚合的特征預處理指標分發至協同端，調度協同端根據聚合特征預處理指標，在本地構建預處理器；

預處理接口：協同端通過構建的預處理器，分別對本地訓練數據和測試數據進行數據預處理。

3.根據權利要求1所述的一種輕量級分布式聯邦學習系統，其特征在于，所述模型訓練接口具體包括：

協同節點模型訓練接口：主控制端將模型訓練參數分發至協同端，協同端通過預處理器進行預處理，按模型訓練參數的要求訓練單模型或者交叉驗證的多模型，并返回訓練后的模型參數；

聯邦模型訓練接口：主控制端配置模型訓練參數，動態調度各協同端節點的模型訓練接口；當各協同端節點都完成一次訓練，主控制端節點完成協同訓練，得到聯邦模型參數。

4.根據權利要求1所述的一種輕量級分布式聯邦學習系統，其特征在于，所述模型評估接口具體包括：

模型同步接口：主控制端將聯邦模型參數分發至協同端，要求協同端同步使用統一的聯邦模型；

模型預測接口：主控制端要求協同端利用聯邦模型對本地訓練數據和測試數據分別進行預測，并返回預測結果；

模型交叉驗證接口：主控制端調用協同端的模型訓練接口，要求每個協同端按固定方式切割數據集，并同時訓練多個模型；主控制端調用協同端的模型同步接口，要求協同端同步多個模型；主控制端調用協同端的模型預測接口，要求協同端利用多個模型，基于對應的測試數據集進行預測，并返回預測結果；主控制端匯總計算各協同端的交叉驗證預測結果，得到交叉驗證指標；

模型報告接口：主控制端調用模型交叉驗證接口，完成交叉驗證指標的計算；主控制端調用模型同步接口，要求協同端同步使用聯邦模型；主控制端調用模型預測接口，聚合各協同端返回的預測結果，并完成模型評估報告指標的計算；

模型選擇接口：主控制端節點通過調參算法迭代更新模型超參數組合，基于每個參數組合，調用模型交叉驗證接口，得到交叉驗證指標；主控制端節點根據多個超參數組合的交叉驗證結果，選定最優參數組合。

5.一種輕量級分布式聯邦學習方法，其特征在于，包括以下步驟：

S1. 主控制端將聯邦學習配置文件的訓練信息下發至各協同端；

S2. 主控制端調用各協同端進行聯合特征處理；

S3. 主控制端調用各協同端進行協同模型訓練；

S4. 主控制端調用各協同端進行協同模型評估。

6.根據權利要求5所述的一種輕量級分布式聯邦學習方法，其特征在于，所述步驟S2聯合特征處理具體包括以下子步驟：

S201. 主控制端調用各協同端的預處理中間接口，要求協同端利用本地數據切分訓練測試集，計算并返回特征中間指標；

S202. 主控制端將各協同端的特征中間指標進行聚合處理；

S203. 主控制端將聚合的特征預處理指標發送至各協同端，并發起預處理信息同步指令，在各協同端完成預處理器的構建。