[發明專利]基于聯邦學習實現數據集構建處理的系統及其構建生成方法

有效

• 申請號: 202010535169.2
• 申請日: 2020-06-12
• 公開（公告）號: CN111695701B
• 公開（公告）日: 2021-08-13
• 發明（設計）人: 伊世林;曾維
• 申請（專利權）人: 上海富數科技有限公司
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06K9/62
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 王潔;鄭暄

1.一種基于聯邦學習實現數據集構建處理的系統，其特征在于，所述的系統包括：

數據集管理模塊，與歷史數據集相連接，用于導出和管理數據集；

數據集生成模塊，與所述的數據集管理模塊相連接，用于參與節點根據數據生成規則各自完成本節點數據集的生成，并反饋狀態至中心節點；

所述的數據集管理模塊包括：

數據集上傳單元，與歷史數據集相連接，用于上傳數據集進行有依賴初始化；

數據集導出單元，與數據集上傳單元和數據集生成模塊相連接，用于本地導出和保存生成的數據集；

所述的系統進行以下處理：

(1)判斷是否依賴初始化，如果是，則繼續上傳歷史數據樣本集；否則，繼續步驟(2)；

(2)使用規則生成器生成數據集規則；

(3)判斷是否分布式分發，如果是，則繼續步驟(4)；否則，繼續步驟(6)；

(4)發送數據集規則給參與節點，判斷是否有依賴初始化，如果是，則繼續步驟(5)；否則，參與節點根據數據集規則生產數據集，繼續步驟(8)；

(5)發送歷史數據集給參與節點，參與節點根據數據集規則和歷史數據集生產數據集，繼續步驟(8)；

(6)判斷是否有依賴初始化，如果是，則拉取數據集；否則，繼續步驟(7)；

(7)生成數據集，判斷是否公平分發，如果是，則公平分發到參與節點，繼續步驟(8)；否則，根據權重分發數據到參與節點，繼續步驟(8)；

(8)進行狀態匯總。

2.根據權利要求1所述的基于聯邦學習實現數據集構建處理的系統，其特征在于，所述的數據生成規則包含初始化規則和數據變異規則，所述的初始化規則包含無依賴初始化和有依賴初始化。

3.根據權利要求2所述的基于聯邦學習實現數據集構建處理的系統，其特征在于，所述的無依賴初始化在無數據的基礎上，根據特征名生成規則、特征類型生成規則和數據生成規則，構建出一組原始數據集。

4.根據權利要求2所述的基于聯邦學習實現數據集構建處理的系統，其特征在于，所述的有依賴初始化是在歷史數據的基礎上，增加歷史數據函數式變化和歷史數據亂序，提取新的生成規則。

5.根據權利要求1所述的基于聯邦學習實現數據集構建處理的系統，其特征在于，所述的數據生成規則包含數據單調性構建、常數構建、數據邊界構建、函數構建、數據集合構建和數據周期性構建。

6.根據權利要求1所述的基于聯邦學習實現數據集構建處理的系統，其特征在于，所述的數據集的生成方式分為單機生成模式和分布式生成模式，所述的單機生成模式中主節點根據數據集生成規則生成數據集，分發給參與節點。

7.根據權利要求6所述的基于聯邦學習實現數據集構建處理的系統，其特征在于，所述的單機生成模式的分發過程包含公平分發和非公平分發兩種分發方式。