[發明專利]聯邦建模方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202010411493.3
• 申請日: 2020-05-14
• 公開（公告）號: CN111582505A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 張天豫;范力欣;吳錦和
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 魏蘭

本發明公開了一種聯邦建模方法，包括以下步驟：第一終端對訓練數據集進行標注，以獲得公共標簽向量以及本地標簽向量；通過待訓練模型確定公共標簽向量對應的第一梯度以及本地標簽向量對應的第二梯度；將第一梯度發送至第二終端，以供所述第二終端基于所述第一梯度，確定并反饋第三梯度；基于所述第二梯度以及第三梯度確定目標梯度，并基于所述目標梯度更新所述待訓練模型，以獲得目標模型。本發明還公開了一種聯邦建模裝置、設備及計算機可讀存儲介質。本發明實現了通過公共標簽向量以及本地標簽向量進行建模，無需對梯度進行修改，實現了梯度的隱私保護與模型收斂或模型精度之間的均衡，能夠完全阻止信息泄漏，提高聯邦學習中數據的安全性。

技術領域

本發明涉及聯邦學習領域，尤其涉及一種聯邦建模方法、裝置、設備及計算機可讀存儲介質。

背景技術

目前，聯邦學習的訓練方式主要是以梯度共享的形式進行。各個具有相同構造的模型通過分享其本地梯度，共同訓練一個全局模型。若某個模型在梯度傳播過程中梯度被泄漏或竊聽，則可以使用鏈式法則以及被泄漏的梯度還原輸入數據。

目前，為避免梯度被泄露或竊聽，往往通過差分隱私保護、梯度量化以及梯度裁剪等方式對梯度進行保護，其中，差分隱私保護是通過對需要傳播的梯度附加一定量的隨機噪聲來保護梯度；梯度量化是將梯度近似成為整型數值，例如(0，1)或(-1，0，1)等；梯度裁剪是通過將某些位置的梯度數值裁剪為0。

但是，差分隱私保護、梯度量化以及梯度裁剪等方式，均需要通過對梯度添加擾動，如果擾動過大則會影響全局模型的收斂效果，導致模型無法收斂或最終全局模型的精度較低，如果擾動不足則無法有效保護梯度。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種聯邦建模方法、裝置、設備及計算機可讀存儲介質，旨在解決現有聯邦學習中難以實現保護梯度，與模型收斂或模型精度之間的均衡的技術問題。

為實現上述目的，本發明提供一種聯邦建模方法，所述聯邦建模方法包括以下步驟：

第一終端對訓練數據集進行標注，以獲得公共標簽向量以及本地標簽向量；

通過待訓練模型確定所述公共標簽向量對應的第一梯度以及所述本地標簽向量對應的第二梯度；

將所述第一梯度發送至第二終端，以供所述第二終端基于所述第一梯度，確定并反饋第三梯度；

基于所述第二梯度以及第三梯度確定目標梯度，并基于所述目標梯度更新所述待訓練模型，以獲得目標模型。

進一步地，所述將所述第一梯度發送至第二終端，以供所述第二終端基于所述第一梯度，確定并反饋第三梯度的步驟包括：

將所述第一梯度發送至第二終端，其中，所述第二終端獲取多個第三終端發送的第四梯度，基于各個第四梯度以及所述第一梯度確定第三梯度，基于所述第三梯度更新所述第二終端的全局模型，并反饋所述第三梯度至所述第一終端。

進一步地，所述第一終端對訓練數據集進行標注，以獲得公共標簽向量以及本地標簽向量的步驟包括：

基于獨熱編碼對所述訓練數據集進行標注，以獲得公共標簽向量；

基于隨機編碼對所述訓練數據集進行標注，以獲得本地標簽向量。

進一步地，所述通過待訓練模型確定所述公共標簽向量對應的第一梯度以及所述本地標簽向量對應的第二梯度的步驟包括：

分別將所述公共標簽向量以及所述本地標簽向量輸入待訓練模型進行模型訓練，以獲得所述公共標簽向量對應的第一損失函數值，以及所述本地標簽向量對應的第二損失函數值；