[發(fā)明專利]一種基于聯(lián)邦學習的模型訓(xùn)練的方法及裝置

在審

• 申請?zhí)枺?/td>: 202010534434.5
• 申請日: 2020-06-12
• 公開（公告）號: CN111695696A
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計）人: 李曉麗;車春江;李煜政;陳川;鄭子彬;嚴強;李輝忠
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司;中山大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京同達信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 張懷陽

本發(fā)明公開了一種基于聯(lián)邦學習的模型訓(xùn)練的方法及裝置，包括：終端獲取中央服務(wù)器第k次迭代的第一矩陣參數(shù)和第二矩陣參數(shù)，其中，第一矩陣參數(shù)和第二矩陣參數(shù)是中央服務(wù)器對全局模型參數(shù)矩陣進行分解得到的，k為自然數(shù)，以此減少終端的模型的參數(shù)，降低終端的模型訓(xùn)練時運行所需的內(nèi)存消耗，然后終端使用訓(xùn)練樣本進行訓(xùn)練，確定出第一矩陣參數(shù)的更新梯度、第二矩陣參數(shù)的更新梯度和偏置參數(shù)的更新梯度，通過將第一矩陣參數(shù)的更新梯度和偏置參數(shù)的更新梯度發(fā)送至中央服務(wù)器和/或?qū)⒌诙仃噮?shù)的更新梯度和偏置參數(shù)的更新梯度發(fā)送至所述中央服務(wù)器，減少計算數(shù)據(jù)，以使中央服務(wù)器更新全局模型參數(shù)矩陣。

技術(shù)領(lǐng)域

本發(fā)明涉及金融科技(Fintech)領(lǐng)域，尤其涉及一種基于聯(lián)邦學習的模型訓(xùn)練的方法及裝置。

背景技術(shù)

隨著計算機技術(shù)的發(fā)展，越來越多的技術(shù)應(yīng)用在金融領(lǐng)域，傳統(tǒng)金融業(yè)正在逐步向金融科技轉(zhuǎn)變，但由于金融行業(yè)的安全性、實時性要求，也對技術(shù)提出的更高的要求。在金融領(lǐng)域，對聯(lián)邦學習模型進行訓(xùn)練是一個重要的問題。

終端，如手機、平板電腦、可穿戴設(shè)備、區(qū)塊鏈節(jié)點、和自動交通工具等，變得越來越受歡迎。這些設(shè)備每天都射產(chǎn)生大數(shù)量的有價值的數(shù)據(jù)，通過這些數(shù)據(jù)訓(xùn)練得到的模型可以極大提高用戶的體驗，例如，經(jīng)過訓(xùn)練得到的語音模型可以提高語音識別和文字輸入的性能，圖像模型可以提高選擇圖片的能力，若將待訓(xùn)練數(shù)據(jù)發(fā)送至中央服務(wù)器，則可以訓(xùn)練出相對應(yīng)的模型，但這些數(shù)據(jù)通常是受到保護的，并不能隨意使用。

在現(xiàn)有技術(shù)中，根據(jù)聯(lián)邦學習，將終端與其他終端協(xié)作或?qū)^(qū)塊鏈某一節(jié)點與其他節(jié)點協(xié)作，根據(jù)終端中的本地數(shù)據(jù)(或區(qū)塊鏈節(jié)點的本地數(shù)據(jù))在本地訓(xùn)練出模型，使得終端或區(qū)塊鏈(聯(lián)盟鏈)節(jié)點可以不用上傳在本地的數(shù)據(jù)，如圖1所示，圖1為一種聯(lián)邦學習示意圖，通過聯(lián)邦學習建立模型，在該模型中，每一輪通信中，終端或區(qū)塊鏈(聯(lián)盟鏈)節(jié)點會連接到中央服務(wù)器，并下載一個全局模型，然后根據(jù)本地數(shù)據(jù)對全局模型進行訓(xùn)練，將訓(xùn)練完成后得到的更新的梯度發(fā)送至中央服務(wù)器，以使中央服務(wù)器對全局模型進行更新。進而實現(xiàn)終端或區(qū)塊鏈(聯(lián)盟鏈)節(jié)點擁有一個全局模型，并且可以根據(jù)本地的識別任務(wù)中。

然而現(xiàn)有技術(shù)中的聯(lián)邦學習難以部署到終端或區(qū)塊鏈(聯(lián)盟鏈)節(jié)點，終端或區(qū)塊鏈(聯(lián)盟鏈)節(jié)點的硬件平臺無法跟上深度神經(jīng)網(wǎng)絡(luò)的指數(shù)級增長，因為終端或區(qū)塊鏈(聯(lián)盟鏈)節(jié)點的資源有限，難以部署復(fù)雜的神經(jīng)網(wǎng)絡(luò)，且模型運行所需的內(nèi)存消耗大，導(dǎo)致模型的效率低。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種基于聯(lián)邦學習的模型訓(xùn)練的方法及裝置，用于減少終端或區(qū)塊鏈(聯(lián)盟鏈)節(jié)點的模型的參數(shù)，在不影響終端或區(qū)塊鏈(聯(lián)盟鏈)節(jié)點的模型訓(xùn)練的效率下，降低終端或區(qū)塊鏈(聯(lián)盟鏈)節(jié)點的模型訓(xùn)練時運行所需的內(nèi)存消耗。

第一方面，本發(fā)明實施例提供一種運用于終端或區(qū)塊鏈節(jié)點的聯(lián)邦學習的模型訓(xùn)練的方法，包括：

終端獲取中央服務(wù)器第k次迭代的第一矩陣參數(shù)和第二矩陣參數(shù)；所述第一矩陣參數(shù)和所述第二矩陣參數(shù)是所述中央服務(wù)器對全局模型參數(shù)矩陣進行分解得到的；所述k為自然數(shù)；

所述終端使用訓(xùn)練樣本對所述第一矩陣參數(shù)和所述第二矩陣參數(shù)進行訓(xùn)練，確定出所述第一矩陣參數(shù)的更新梯度、所述第二矩陣參數(shù)的更新梯度和偏置參數(shù)的更新梯度；

所述終端將所述第一矩陣參數(shù)的更新梯度和所述偏置參數(shù)的更新梯度發(fā)送至所述中央服務(wù)器和/或?qū)⑺龅诙仃噮?shù)的更新梯度和所述偏置參數(shù)的更新梯度發(fā)送至所述中央服務(wù)器，以使所述中央服務(wù)器更新所述全局模型參數(shù)矩陣。