[發(fā)明專利]聯(lián)邦學(xué)習(xí)數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011183893.X
• 申請(qǐng)日: 2020-10-29
• 公開（公告）號(hào): CN112288097A
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 李雷來(lái);王健宗;瞿曉陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06F16/27;G06F21/60;G06F21/62
• 代理公司: 北京英特普羅知識(shí)產(chǎn)權(quán)代理有限公司 11015
• 代理人: 鄧應(yīng)山;鄧小玲

1.一種聯(lián)邦學(xué)習(xí)數(shù)據(jù)處理方法，其特征在于，所述方法包括：

控制多個(gè)終端通過本地?cái)?shù)據(jù)和模型參數(shù)分別執(zhí)行聯(lián)邦學(xué)習(xí)訓(xùn)練以得到多個(gè)梯度值，所述梯度值的單位為第一數(shù)據(jù)量單位；

對(duì)所述多個(gè)梯度值進(jìn)行三值量化梯度計(jì)算以得到多個(gè)三值梯度，所述三值梯度的單位為第二數(shù)據(jù)量單位，所述第二數(shù)據(jù)量單位小于所述第一數(shù)據(jù)量單位；

控制中心端隨機(jī)接收多個(gè)終端發(fā)送的對(duì)應(yīng)的三值梯度；

控制所述中心端融合所述多個(gè)終端對(duì)應(yīng)的三值梯度以更新所述模型參數(shù)，并將更新后的所述模型參數(shù)傳回所述多個(gè)終端；

控制所述多個(gè)終端根據(jù)更新后的所述模型參數(shù)得到產(chǎn)品推薦模型，并將多個(gè)終端接收到的本地用戶數(shù)據(jù)輸入至產(chǎn)品推薦模型中處理以得到目標(biāo)產(chǎn)品推薦數(shù)據(jù)，將所述目標(biāo)產(chǎn)品推薦數(shù)據(jù)傳回所述多個(gè)終端。

2.如權(quán)利要求1所述的聯(lián)邦學(xué)習(xí)數(shù)據(jù)處理方法，其特征在于，所述本地?cái)?shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，所述結(jié)構(gòu)化數(shù)據(jù)包括文字或圖片，所述控制多個(gè)終端通過本地?cái)?shù)據(jù)和模型參數(shù)分別執(zhí)行聯(lián)邦學(xué)習(xí)訓(xùn)練以得到多個(gè)梯度值之前還包括：

控制所述多個(gè)終端收集所述本地?cái)?shù)據(jù)；

向所述中心端請(qǐng)求初始模型參數(shù)。

3.如權(quán)利要求2所述的聯(lián)邦學(xué)習(xí)數(shù)據(jù)處理方法，其特征在于，所述控制多個(gè)終端通過本地?cái)?shù)據(jù)和模型參數(shù)分別執(zhí)行聯(lián)邦學(xué)習(xí)訓(xùn)練以得到多個(gè)梯度值包括：

控制每個(gè)終端通過梯度下降法通過所述初始模型參數(shù)對(duì)所述本地?cái)?shù)據(jù)執(zhí)行t輪聯(lián)邦學(xué)習(xí)訓(xùn)練迭代后得到模型參數(shù)；

通過所述模型參數(shù)對(duì)所述本地?cái)?shù)據(jù)執(zhí)行哈密頓算子運(yùn)算得到每個(gè)終端對(duì)應(yīng)的梯度值。

4.如權(quán)利要求3所述的聯(lián)邦學(xué)習(xí)數(shù)據(jù)處理方法，其特征在于，所述對(duì)所述多個(gè)梯度值進(jìn)行三值量化梯度計(jì)算以得到多個(gè)三值梯度包括：

對(duì)所述多個(gè)梯度值中的每個(gè)梯度值進(jìn)行三值轉(zhuǎn)換；

當(dāng)所述梯度值等于0時(shí)，將對(duì)應(yīng)的三值梯度賦值為數(shù)值0；

當(dāng)所述梯度值大于0時(shí)，將對(duì)應(yīng)的三值梯度賦值為數(shù)值1；

當(dāng)所述梯度值小于0時(shí)，將對(duì)應(yīng)的三值梯度賦值為數(shù)值-1。

5.如權(quán)利要求4所述的聯(lián)邦學(xué)習(xí)數(shù)據(jù)處理方法，其特征在于，所述融合所述多個(gè)終端對(duì)應(yīng)的三值梯度以更新所述模型參數(shù)，并將更新后的所述模型參數(shù)傳回所述多個(gè)終端包括：

融合所述多個(gè)終端對(duì)應(yīng)的三值梯度以得到融合后的三值梯度；

根據(jù)融合后的三值梯度和中心端學(xué)習(xí)率更新所述模型參數(shù)得到更新后的模型參數(shù)。

6.如權(quán)利要求5所述的聯(lián)邦學(xué)習(xí)數(shù)據(jù)處理方法，其特征在于，所述融合所述多個(gè)終端對(duì)應(yīng)的三值梯度以更新所述模型參數(shù)，并將更新后的所述模型參數(shù)傳回所述多個(gè)終端之后包括：

控制所述多個(gè)終端通過所述模型參數(shù)執(zhí)行新的聯(lián)邦學(xué)習(xí)訓(xùn)練，并在所述模型參數(shù)更新預(yù)設(shè)次數(shù)后停止訓(xùn)練。

7.如權(quán)利要求6所述的聯(lián)邦學(xué)習(xí)數(shù)據(jù)處理方法，其特征在于，所述控制所述多個(gè)終端通過所述模型參數(shù)執(zhí)行新的聯(lián)邦學(xué)習(xí)訓(xùn)練，并在所述模型參數(shù)更新預(yù)設(shè)次數(shù)后停止訓(xùn)練之后還包括：

將所述模型參數(shù)上傳至區(qū)塊鏈中。

8.一種聯(lián)邦學(xué)習(xí)數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

訓(xùn)練模塊，用于控制多個(gè)終端通過本地?cái)?shù)據(jù)和模型參數(shù)分別執(zhí)行聯(lián)邦學(xué)習(xí)訓(xùn)練以得到多個(gè)梯度值，所述梯度值的單位為第一數(shù)據(jù)量單位；

優(yōu)化模塊，用于對(duì)所述多個(gè)梯度值進(jìn)行三值量化梯度計(jì)算以得到多個(gè)三值梯度，所述三值梯度的單位為第二數(shù)據(jù)量單位，所述第二數(shù)據(jù)量單位小于所述第一數(shù)據(jù)量單位；

接收模塊，用于控制中心端隨機(jī)接收多個(gè)終端發(fā)送的對(duì)應(yīng)的三值梯度；

更新模塊，用于控制所述中心端融合所述多個(gè)終端對(duì)應(yīng)的三值梯度以更新所述模型參數(shù)，并將更新后的所述模型參數(shù)傳回所述多個(gè)終端；

處理模塊，用于控制所述多個(gè)終端根據(jù)更新后的所述模型參數(shù)得到產(chǎn)品推薦模型，并將多個(gè)終端接收到的本地用戶數(shù)據(jù)輸入至產(chǎn)品推薦模型中處理以得到目標(biāo)產(chǎn)品推薦數(shù)據(jù)，將所述目標(biāo)產(chǎn)品推薦數(shù)據(jù)傳回所述多個(gè)終端。