[發明專利]一種面向決策樹的縱向聯邦學習方法

有效

• 申請號: 202011224742.4
• 申請日: 2020-11-05
• 公開（公告）號: CN112364908B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 張睿;田志華;侯瀟揚;劉健;任奎
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種面向決策樹的縱向聯邦學習方法，該方法主要包括如下步驟：1)所有參與者對于本地的每一個特征，將本地數據進行排序，隨后將排序后的數據按序等分為不同的塊，將每一塊稱為一個桶。2)對于每一個特征所對應的一組數據，每一個數據在該特征下的桶號有一定概率變為其它桶號，選取適當的概率使得這種加密方式滿足差分隱私的定義。3)每個參與者將不同數據在不同特征下分到的桶的序號，發送給持有標簽的參與者。將這個參與者稱為協調者。4)協調者根據這些數據訓練決策樹模型，訓練過程不再需要其他參與者。本發明首次提出在決策樹的聯邦學習中傳遞排序的方法，在維持聯邦學習安全性的同時，極大的提升了訓練速度。

技術領域

本發明涉及聯邦學習領域，尤其設計一種面向決策樹的縱向聯邦學習方法。

背景技術

聯邦學習又稱為集成學習，是一種在多個分散的設備或存儲有數據的服務器上共同訓練模型的機器學習技術。與傳統的中心化學習不同，該方式不需要將數據合并在一起，因此數據之間是獨立存在的。

聯邦學習的概念首先于2017年由Google所提出(Brendan McMahan,Eider Moore,Daniel Ramage,SethHampson,and Blaise Aguera y Arcas.Communication-efficientlearning of deep networks from decentralizeddata.In Aarti Singh and JerryZhu,editors,Proceedingsof the 20th International Conference on ArtificialIntelli-gence and Statistics,volume 54,pages 1273–1282,FortLauderdale,FL,USA,20–22Apr 2017.PMLR.)，現如今已經得到了巨大的發展，應用場景也越來越廣泛。根據數據劃分方式的不同，其主要分為縱向聯邦學習和橫向聯邦學習。在縱向聯邦學習中，研究人員將神經網絡的訓練過程分布在多個參與者上，迭代地將本地的訓練模型聚合為一個聯合的全局模型。在這個過程中，主要存在兩種角色：中心服務器以及多個參與者。在訓練開始階段，中心服務器將模型初始化并將其發送給所有參與者。在每次迭代過程中，每個參與者利用本地數據訓練接收到的模型，并將訓練梯度發送給中心服務器。中心服務器聚合接收到的梯度來更新全局模型。得益于這種傳輸中間結果而不是原始數據的方式，聯邦學習具有以下優勢：(1)保護隱私：訓練過程中，數據仍保存在本地設備上；(2)低延遲：更新的模型可用于用戶在設備上預測；(3)減輕計算負擔：訓練過程分布在多個設備上而不用一個設備承擔。

發明內容

本發明的目的是提供一種面向決策樹的縱向聯邦學習方法，該方法利用參與者傳遞本地數據排序的方式，代替了聯邦學習中不斷傳遞模型參數的方式，從而極大的減少了聯邦學習本身加密所消耗的大量資源，使得聯邦學習的效率得到提升。

本發明的目的是通過以下技術方案來實現的：

一種面向決策樹的縱向聯邦學習方法，包括如下步驟：

(1)每個參與者分別根據其本地包含的樣本的每一個特征，對本地的樣本進行排序，隨后將排序后的樣本按順序等分為不同的塊，將每一塊稱為一個桶并按順序編號，每個桶中含有數量相同的樣本；

(2)對于每一個特征所對應的一組樣本，每一個樣本在該特征下的桶號有一定概率被替換為其它桶號，重新調整樣本對應的桶號進行加密。其中，選取的概率使得這種加密方式滿足差分隱私的定義；

(3)每個參與者將本地的所有樣本在不同特征下分到的桶的序號，發送給協調者，所述協調者為持有標簽的參與者；

(4)協調者根據本地的標簽信息計算每個樣本的梯度，并匯總每個特征對應下的每個桶的梯度。對于每一個特征所對應的一組樣本，按桶分割數據并計算信息增益，最后記錄最大信息增益對應的分割位置和當前特征，返還給對應具有該特征數據的參與者。