[發明專利]一種基于數據分離的聯合模型訓練方法及系統

在審

• 申請號: 202210156754.0
• 申請日: 2022-02-21
• 公開（公告）號: CN115544534A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 閆軍;劉毅
• 申請（專利權）人: 超級視線科技有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于數據分離的聯合模型訓練方法，其特征在于，所述方法包括：

S1：中心節點建立中心模型并進行初始化賦值，得到初始化模型，所述初始化模型設為分支節點的初始分支模型；

S2：分支節點接收初始分支模型，并進行初始分支模型訓練，得到分支模型梯度；

S3：中心節點接收分支模型梯度，并根據多個分支模型的梯度計算中心節點的梯度；

S4：中心節點根據中心節點的梯度數據更新中心模型參數；

S5：中心節點根據訓練中止條件評估更新后的中心模型；若更新后的中心模型滿足訓練指標，則訓練結束，若不滿足，則跳轉至S2。

2.根據權利要求1所述的基于數據分離的聯合模型訓練方法，其特征在于，分支節點接收初始分支模型，并進行初始分支模型訓練，得到分支模型梯度，具體包括：

讀取本地訓練數據作為分支模型的輸入；并執行前向計算，輸出模型計算結果；

將模型計算結果和真值數據輸入損失函數，計算模型損失；

根據模型損失結果計算分支模型梯度。

3.根據權利要求2所述的基于數據分離的聯合模型訓練方法，其特征在于，中心節點接收分支模型梯度，并根據多個分支模型的梯度計算中心節點的梯度的步驟包括：

中心節點接收全部分支節點N_k的梯度數據，通過加權的方式計算中心節點的更新梯度g_c；

其中，

4.根據權利要求3所述的基于數據分離的聯合模型訓練方法，其特征在于，所述方法還包括：評估所述更新后的中心模型是否符合模型中止條件，若更新后的中心模型在測試數據集上的準確率Acc不小于0.95，則中止模型訓練，若小于0.95，則跳轉至S1。

5.一種基于數據分離的聯合模型訓練系統，其特征在于，包括

初始化模塊，用于對中心節點建立的中心模型并進行初始化賦值，得到初始化模型，所述初始化模型設為分支節點的初始分支模型；

訓練模塊，對初始分支模型訓練，得到分支模型梯度；

計算模塊，用于根據多個分支模型的梯度計算中心節點的梯度；

更新模塊，用于根據中心節點的梯度數據更新中心模型參數；

評估模塊，用于中心節點根據訓練中止條件評估更新后的中心模型；

判斷模塊，若更新后的中心模型滿足訓練指標，則訓練結束，若不滿足，則跳轉至S2。

6.根據權利要求5所述的基于數據分離的聯合模型訓練系統，其特征在于，所述訓練模塊還用于讀取本地訓練數據作為分支模型的輸入；并執行前向計算，輸出模型計算結果；

將模型計算結果和真值數據輸入損失函數，計算本次模型損失；

根據模型損失結果計算分支模型梯度。

7.根據權利要求6所述的基于數據分離的聯合模型訓練系統，其特征在于，所述計算模塊用于對分支節點N_k的梯度數據進行加權計算，得到中心節點的更新梯度g_c；

其中，

8.根據權利要求7所述的基于數據分離的聯合模型訓練系統，其特征在于，所述判斷模塊還用于判斷更新后的中心模型在測試數據集上的準確率，若準確率Acc不小于0.95，則中止模型訓練，若小于0.95，則跳轉至S2。