[發明專利]聯邦學習數據處理方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202011183893.X
• 申請日: 2020-10-29
• 公開（公告）號: CN112288097A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 李雷來;王健宗;瞿曉陽
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F16/27;G06F21/60;G06F21/62
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧應山;鄧小玲

本發明公開了聯邦學習數據處理方法，包括控制多個終端通過本地數據和模型參數分別執行聯邦學習訓練得到多個梯度值，梯度值的單位為第一數據量單位；對多個梯度值進行三值量化梯度計算得到多個三值梯度，三值梯度的單位為小于第一數據量單位的第二數據量單位；控制中心端隨機接收多個終端的三值梯度；融合多個終端的三值梯度更新模型參數；多個終端基于接收到的更新后的模型參數得到產品推薦模型，并基于產品推薦模型處理本地用戶數據，得到目標產品推薦數據。本發明通過在不同的終端設備進行梯度同步時，對梯度采用三值量化，減少需要傳輸的梯度大小，減少梯度傳輸的耗時，在更好的保護用戶隱私的前提下快速實現模型的訓練數據處理。

技術領域

本發明涉及機器學習領域，尤其涉及一種聯邦學習數據處理方法、裝置、計算機設備及存儲介質。

背景技術

人工智能由于深度學習技術的突破得到了快速的發展，深度學習技術能快速發展的一大主要的原因就是數據，數據是深度學習技術的核心驅動力，但是獲取數據通常面臨隱私保護問題，尤其是在金融、保險、銀行等數據敏感行業應用中。

聯邦學習技術的出現解決了數據隱私保護的問題，即在不批露底層數據的情況下實現人工智能模型的協同訓練。聯邦學習技術是一種多端協同的分布式加密機器學習技術，聯邦學習中往往存在一個服務中心端和多個終端。隨著目前深度學習模型的參數量越來越大，即使經過神經網絡模型壓縮技術壓縮后的參數量也遠遠大于傳統的機器學習模型的參數量，在不同的終端設備需要進行梯度同步的時候，如果一端在基于本地隱私數據得到的訓練梯度需要同步到中心端，而且會面臨傳輸時長過久，網絡延遲太大等問題。

發明內容

有鑒于此，本發明提出一種聯邦學習數據處理方法、裝置、計算機設備及存儲介質，用于解決現有技術中基于聯邦學習的機器學習過程中，不同設備同步梯度數據傳輸時長久，延遲大的問題。

首先，為實現上述目的，本發明提出一種聯邦學習數據處理方法，所述方法包括：

控制多個終端通過本地數據和模型參數分別執行聯邦學習訓練以得到多個梯度值，所述梯度值的單位為第一數據量單位；

對所述多個梯度值進行三值量化梯度計算以得到多個三值梯度，所述三值梯度的單位為第二數據量單位，所述第二數據量單位小于所述第一數據量單位；

控制中心端隨機接收多個終端發送的對應的三值梯度；

控制所述中心端融合所述多個終端對應的三值梯度以更新所述模型參數，并將更新后的所述模型參數傳回所述多個終端；

控制所述多個終端根據更新后的所述模型參數得到產品推薦模型，并將多個終端接收到的本地用戶數據輸入至產品推薦模型中處理以得到目標產品推薦數據，將所述目標產品推薦數據傳回所述多個終端。

優選的，所述本地數據為結構化數據，所述結構化數據包括文字或圖片，所述控制多個終端通過本地數據和模型參數分別執行聯邦學習訓練以得到多個梯度值之前還包括：

控制所述多個終端收集所述本地數據；

向所述中心端請求初始模型參數。

優選的，所述控制多個終端通過本地數據和模型參數分別執行聯邦學習訓練以得到多個梯度值包括：

控制每個終端通過梯度下降法通過所述初始模型參數對所述本地數據執行t輪聯邦學習訓練迭代后得到模型參數；

通過所述模型參數對所述本地數據執行哈密頓算子運算得到每個終端對應的梯度值。

優選的，所述對所述多個梯度值進行三值量化梯度計算以得到多個三值梯度包括：

對所述多個梯度值中的每個梯度值進行三值轉換；

當所述梯度值等于0時，將對應的三值梯度賦值為數值0；