[發明專利]基于聯邦學習的模型訓練方法、系統、設備及存儲介質有效
| 申請號： | 202110945152.9 | 申請日： | 2021-08-17 |
| 公開（公告）號： | CN113469373B | 公開（公告）日： | 2023-06-30 |
| 發明（設計）人： | 楊雷;李亞玲;梁原;李麗平 | 申請（專利權）人： | 北京神州新橋科技有限公司 |
| 主分類號： | G06N20/00 | 分類號： | G06N20/00;G06F9/50 |
| 代理公司： | 北京智信四方知識產權代理有限公司 11519 | 代理人： | 黃健 |
| 地址： | 100089 北京市海*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 聯邦 學習 模型 訓練 方法 系統 設備 存儲 介質 | ||
1.一種基于聯邦學習的模型訓練方法，包括：
將參與聯邦學習的節點設備預先劃分為若干集群；
集群內各節點設備基于參數服務器下發的初始參數和本地數據集進行模型訓練，并將各自的模型參數利用差分隱私算法添加噪聲后發送至集群內指定節點設備；
各集群內指定節點設備利用軟聚類壓縮算法處理接收到的模型參數，生成聚類后的簇心值，并將所述簇心值發送至所述參數服務器，以使所述參數服務器利用同樣的所述軟聚類算法聚合得到更新后的簇心值；
參與聯邦學習的節點設備接收所述參數服務器下發的所述更新后的簇心值，并更新各自的模型參數進行下一輪模型訓練，直到滿足訓練停止條件。
2.根據權利要求1所述的方法，所述集群的劃分條件至少包括以下一種或多種：
節點設備的地理位置、節點設備的隸屬關系、節點設備的網絡環境、節點設備的運算性能。
3.根據權利要求1所述的方法，所述各集群內指定節點設備利用軟聚類壓縮算法處理接收到的模型參數，生成聚類后的簇心值之前，還包括：
指定節點設備配置預設時間段，并將所述預設時間段內接收到的模型參數參與本次迭代。
4.根據權利要求1-3任一項所述的方法，所述各集群內指定節點設備利用軟聚類壓縮算法處理接收到的模型參數，生成聚類后的簇心值，包括：
利用EM算法基于如下公式更新得到簇心值：
定義：Φ(Rm)＝z，其中，Cz≤Rm，且Cz+1＞Rm；
其中，R為接收到的模型參數的向量表示，Rm為R中第m個元素，Cz為R中最大的簇心值，J為壓縮前后向量R的方差，α為學習率，L為滿足Φ(Rm)＝z的元素集。
5.根據權利要求1所述的方法，所述差分隱私算法采用基于教師模型全體的隱私聚合算法或者基于差分隱私樹模型的算法。
6.根據權利要求1所述的方法，所述方法訓練得到的全局模型應用于金融風險識別、信貸分析、醫療診斷。
7.一種基于聯邦學習的模型訓練系統，包括：參數服務器和N個節點設備；其中，N為大于1的整數；N個節點設備預先劃分為若干集群；
集群內各節點設備基于參數服務器下發的初始參數和本地數據集進行模型訓練，并將各自的模型參數利用差分隱私算法添加噪聲后發送至集群內指定節點設備；
各集群內指定節點設備利用軟聚類壓縮算法處理接收到的模型參數，生成聚類后的簇心值，并將所述簇心值發送至所述參數服務器，以使所述參數服務器利用同樣的所述軟聚類算法聚合得到更新后的簇心值；
參與聯邦學習的節點設備接收所述參數服務器下發的所述更新后的簇心值，并更新各自的模型參數進行下一輪模型訓練，直到滿足訓練停止條件。
8.根據權利要求7所述的系統，所述集群的劃分條件至少包括以下一種或多種：
節點設備的地理位置、節點設備的隸屬關系、節點設備的網絡環境、節點設備的運算性能。
9.一種電子設備，其特征在于，包括存儲器和處理器；其中，所述存儲器用于存儲一條或多條計算機指令，其中，所述一條或多條計算機指令被所述處理器執行以實現權利要求1-6任一項所述的方法步驟。
10.一種可讀存儲介質，其上存儲有計算機指令，其特征在于，該計算機指令被處理器執行時實現權利要求1-6任一項所述的方法步驟。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京神州新橋科技有限公司，未經北京神州新橋科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110945152.9/1.html，轉載請聲明來源鉆瓜專利網。
