[發(fā)明專利]一種聯(lián)邦遷移學(xué)習(xí)模型的訓(xùn)練、預(yù)測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910691510.0
• 申請(qǐng)日: 2019-07-29
• 公開（公告）號(hào): CN110399742B
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計(jì)）人: 康焱;劉洋;陳天健
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06F21/60
• 分類號(hào): G06F21/60;G06F21/62;G06N20/00;H04L9/08;H04L29/06
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 鄒雅瑩

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體為一種聯(lián)邦遷移學(xué)習(xí)模型的訓(xùn)練、預(yù)測(cè)方法及裝置；所述方法包括：第一終端獲取參數(shù)服務(wù)器在第i個(gè)訓(xùn)練周期下發(fā)的加密遷移模型；加密遷移模型為參數(shù)服務(wù)器根據(jù)K個(gè)參與方的K個(gè)終端在第i?1個(gè)訓(xùn)練周期上傳的K個(gè)加密共享模型生成的；第一終端在第i個(gè)訓(xùn)練周期根據(jù)下發(fā)的加密遷移模型更新第一終端的第一本地神經(jīng)網(wǎng)絡(luò)模型中的加密共享模型，并根據(jù)第一數(shù)據(jù)訓(xùn)練更新第一本地神經(jīng)網(wǎng)絡(luò)模型。這樣在聯(lián)邦遷移學(xué)習(xí)訓(xùn)練過程中，保證了各參與方數(shù)據(jù)的隱私性，有效提高了模型的訓(xùn)練效率,并且在保障模型的泛化能力的同時(shí)，提高了各終端模型的獨(dú)特性。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種聯(lián)邦遷移學(xué)習(xí)模型的訓(xùn)練、預(yù)測(cè)方法及裝置。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)的發(fā)展，越來越多的技術(shù)應(yīng)用在金融領(lǐng)域，傳統(tǒng)金融業(yè)正在逐步向科技金融(Fintech)轉(zhuǎn)變，人工智能技術(shù)也不例外，但由于金融行業(yè)的安全性、實(shí)時(shí)性要求，也對(duì)技術(shù)提出的更高的要求。

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)平臺(tái)上信息大量而多樣，如何實(shí)現(xiàn)為用戶推薦個(gè)性化和感興趣的信息服務(wù)，是非常重要的。

然而，現(xiàn)有的本地神經(jīng)網(wǎng)絡(luò)模型在數(shù)據(jù)學(xué)習(xí)過程中仍存在數(shù)據(jù)泄露和用戶隱私泄露的風(fēng)險(xiǎn)，且無法保證各參與方訓(xùn)練的模型預(yù)測(cè)的特異性。因此，如何保護(hù)用戶數(shù)據(jù)隱私的同時(shí)，提高用戶覆蓋率和推薦信息的多樣性，是一個(gè)亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種聯(lián)邦遷移學(xué)習(xí)模型的訓(xùn)練、預(yù)測(cè)及裝置，以解決現(xiàn)有技術(shù)中模型的數(shù)據(jù)安全性較低的問題。

本發(fā)明實(shí)施例提供的具體技術(shù)方案如下：

本發(fā)明一個(gè)實(shí)施例提供了一種聯(lián)邦遷移學(xué)習(xí)模型的訓(xùn)練方法，包括：

第一終端獲取參數(shù)服務(wù)器在第i個(gè)訓(xùn)練周期下發(fā)的加密遷移模型；所述加密遷移模型為所述參數(shù)服務(wù)器根據(jù)K個(gè)參與方的K個(gè)終端在第i-1個(gè)訓(xùn)練周期上傳的K個(gè)加密共享模型生成的；所述第一終端為所述K個(gè)終端中的任一終端；第1個(gè)訓(xùn)練周期訓(xùn)練的所述加密共享模型為第一終端根據(jù)參數(shù)服務(wù)器下發(fā)的初始加密遷移模型及第一數(shù)據(jù)訓(xùn)練的；所述初始加密遷移模型為所述參數(shù)服務(wù)器在第1個(gè)訓(xùn)練周期，根據(jù)所述參數(shù)服務(wù)器的公鑰加密所述參數(shù)服務(wù)器生成的初始遷移模型獲得的，并發(fā)送至各終端的；所述第一數(shù)據(jù)為所述第一終端的訓(xùn)練數(shù)據(jù)；i，K為正整數(shù)；i大于1；

所述第一終端根據(jù)所述參數(shù)服務(wù)器在第i個(gè)訓(xùn)練周期下發(fā)的加密遷移模型更新所述第一終端的第一本地神經(jīng)網(wǎng)絡(luò)模型中的加密共享模型，并根據(jù)所述第一數(shù)據(jù)訓(xùn)練更新所述第一本地神經(jīng)網(wǎng)絡(luò)模型，從而得到所述第一本地神經(jīng)網(wǎng)絡(luò)模型在第i個(gè)訓(xùn)練周期的加密共享模型；

所述第一終端將所述加密共享模型上傳到所述參數(shù)服務(wù)器。

本發(fā)明實(shí)施例中，通過參數(shù)服務(wù)器在第一訓(xùn)練周期下發(fā)初始加密遷移模型，以使各終端通過各自的數(shù)據(jù)訓(xùn)練本地神經(jīng)網(wǎng)絡(luò)模型中的加密共享模型，并通過參數(shù)服務(wù)器，將各訓(xùn)練周期的各終端訓(xùn)練的加密共享模型生成加密遷移模型，以進(jìn)行下一訓(xùn)練周期的訓(xùn)練，最終訓(xùn)練出的各自的加密共享模型滿足本地神經(jīng)網(wǎng)絡(luò)模型的特征。并且，由于加密共享模型針對(duì)各參與方是密文，實(shí)現(xiàn)各參與方，在無法獲知共享模型的具體參數(shù)的情況下，保證了各參與方數(shù)據(jù)的隱私性和安全性的同時(shí)，有效提高了模型的訓(xùn)練效率，通過加密共享模型更好的實(shí)現(xiàn)本地神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)。

一種可能的實(shí)現(xiàn)方式，所述第一終端根據(jù)所述加密遷移模型，更新所述第一終端的第一本地神經(jīng)網(wǎng)絡(luò)模型的加密共享模型，包括：

所述第一終端根據(jù)所述加密遷移模型，及所述加密遷移模型在所述第一本地神經(jīng)網(wǎng)絡(luò)模型中的權(quán)重，更新所述第一終端的第一本地神經(jīng)網(wǎng)絡(luò)模型的加密共享模型。