[發(fā)明專利]基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法、裝置及聯(lián)邦學(xué)習(xí)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110345548.X
• 申請(qǐng)日: 2021-03-31
• 公開(kāi)（公告）號(hào): CN112862011A
• 公開(kāi)（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 殷俊;周武;宋路祥;韓偉豪
• 申請(qǐng)（專利權(quán)）人: 中國(guó)工商銀行股份有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 任默聞;王濤

本發(fā)明公開(kāi)了一種基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法、裝置及聯(lián)邦學(xué)習(xí)系統(tǒng)，可用于金融領(lǐng)域或其他技術(shù)領(lǐng)域，該方法包括：在聯(lián)邦學(xué)習(xí)的第i次迭代中，根據(jù)本地訓(xùn)練數(shù)據(jù)集采用第一神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，根據(jù)本地驗(yàn)證數(shù)據(jù)集確定訓(xùn)練出的模型的預(yù)測(cè)精度，根據(jù)訓(xùn)練出的模型提取本地?cái)?shù)據(jù)集的數(shù)據(jù)特征，將數(shù)據(jù)特征以及預(yù)測(cè)精度發(fā)送到中央服務(wù)器，以使所述中央服務(wù)器進(jìn)行特征聚合得到全局聚合特征；在聯(lián)邦學(xué)習(xí)的第R次迭代中，獲取所述全局聚合特征，并根據(jù)所述全局聚合特征以及所述本地訓(xùn)練數(shù)據(jù)集中各訓(xùn)練數(shù)據(jù)的標(biāo)簽采用第二神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練。本發(fā)明解決了現(xiàn)有的聯(lián)邦學(xué)習(xí)由于無(wú)法實(shí)現(xiàn)多元數(shù)據(jù)的融合導(dǎo)致訓(xùn)練出的模型的預(yù)測(cè)準(zhǔn)確性不夠理想的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體而言，涉及一種基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法、裝置及一種聯(lián)邦學(xué)習(xí)系統(tǒng)。

背景技術(shù)

隨著居民財(cái)富積累的高速增長(zhǎng)，從居民財(cái)富的結(jié)構(gòu)角度，金融資產(chǎn)占未來(lái)居民財(cái)富的比重和需求會(huì)越來(lái)越高。金融資產(chǎn)包括庫(kù)存現(xiàn)金、銀行存款、債權(quán)投資、股權(quán)投資、基金投資、衍生金融資產(chǎn)等。如何根據(jù)個(gè)人風(fēng)險(xiǎn)偏好來(lái)合理的進(jìn)行金融資產(chǎn)配置就顯得尤為重要。而利用機(jī)器算法來(lái)進(jìn)行個(gè)人風(fēng)險(xiǎn)偏好預(yù)測(cè)主要面臨著兩大重要挑戰(zhàn)：其一，數(shù)據(jù)大都以孤島的形式存在；其二，數(shù)據(jù)隱私和安全。例如，由于各種因素的影響，不同卡組織和支付機(jī)構(gòu)所擁有的大量用戶畫(huà)像數(shù)據(jù)是非共享的。為了保護(hù)數(shù)據(jù)隱私以及解決數(shù)據(jù)孤島問(wèn)題，現(xiàn)有技術(shù)提出了采用聯(lián)邦學(xué)習(xí)進(jìn)行模型訓(xùn)練。聯(lián)邦學(xué)習(xí)是一種新興的人工智能技術(shù)，相較于傳統(tǒng)機(jī)器學(xué)習(xí)方法需要將訓(xùn)練數(shù)據(jù)集中到一臺(tái)機(jī)器或者一個(gè)數(shù)據(jù)中心里，聯(lián)邦學(xué)習(xí)利用分散的成千上萬(wàn)不同卡組織和支付機(jī)構(gòu)的數(shù)據(jù)集協(xié)同訓(xùn)練機(jī)器學(xué)習(xí)模型，而所有的訓(xùn)練數(shù)據(jù)仍保留在各自的機(jī)構(gòu)手中，從而保護(hù)了用戶的隱私。

但傳統(tǒng)的聯(lián)邦學(xué)習(xí)算法在通訊過(guò)程中僅進(jìn)行本地模型參數(shù)的傳遞和聚合，無(wú)法實(shí)現(xiàn)多元數(shù)據(jù)的融合，導(dǎo)致訓(xùn)練出的模型的預(yù)測(cè)準(zhǔn)確性不夠理想。現(xiàn)有技術(shù)缺少一種對(duì)現(xiàn)有聯(lián)邦學(xué)習(xí)進(jìn)行改進(jìn)的方法，以提高模型預(yù)測(cè)的準(zhǔn)確性。

發(fā)明內(nèi)容

本發(fā)明為了解決現(xiàn)有的聯(lián)邦學(xué)習(xí)無(wú)法實(shí)現(xiàn)多元數(shù)據(jù)的融合導(dǎo)致訓(xùn)練出的模型的預(yù)測(cè)準(zhǔn)確性不夠理想的技術(shù)問(wèn)題，提出了一種基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法及裝置。

為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法，該方法包括：

在聯(lián)邦學(xué)習(xí)的第i次迭代中，根據(jù)本地訓(xùn)練數(shù)據(jù)集采用第一神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，根據(jù)本地驗(yàn)證數(shù)據(jù)集確定訓(xùn)練出的模型的預(yù)測(cè)精度，根據(jù)訓(xùn)練出的模型提取本地?cái)?shù)據(jù)集的數(shù)據(jù)特征，將所述數(shù)據(jù)特征以及所述預(yù)測(cè)精度發(fā)送到中央服務(wù)器，以使所述中央服務(wù)器根據(jù)在前R-1次迭代中每個(gè)客戶端在每次迭代時(shí)發(fā)送的數(shù)據(jù)特征以及預(yù)測(cè)精度進(jìn)行特征聚合得到全局聚合特征，其中，i大于等于1且小于等于R-1，R為大于1的整數(shù)，所述本地?cái)?shù)據(jù)集包括：所述本地訓(xùn)練數(shù)據(jù)集和/或所述本地驗(yàn)證數(shù)據(jù)集；

在聯(lián)邦學(xué)習(xí)的第R次迭代中，從所述中央服務(wù)器獲取所述全局聚合特征，并根據(jù)所述全局聚合特征以及所述本地訓(xùn)練數(shù)據(jù)集中各訓(xùn)練數(shù)據(jù)的標(biāo)簽采用第二神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到最終訓(xùn)練出的模型。

為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了另一種基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法，該方法包括：

在聯(lián)邦學(xué)習(xí)的第i次迭代中，接收各客戶端發(fā)送的數(shù)據(jù)特征以及預(yù)測(cè)精度，其中，每個(gè)所述客戶端在第i次迭代中根據(jù)本地訓(xùn)練數(shù)據(jù)集采用第一神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，根據(jù)本地驗(yàn)證數(shù)據(jù)集確定訓(xùn)練出的模型的預(yù)測(cè)精度，以及根據(jù)訓(xùn)練出的模型提取本地?cái)?shù)據(jù)集的數(shù)據(jù)特征，所述本地?cái)?shù)據(jù)集包括：所述本地訓(xùn)練數(shù)據(jù)集和/或所述本地驗(yàn)證數(shù)據(jù)集；

根據(jù)在前R-1次迭代中每個(gè)客戶端在每次迭代時(shí)發(fā)送的數(shù)據(jù)特征以及預(yù)測(cè)精度進(jìn)行特征聚合得到全局聚合特征，其中，i大于等于1且小于等于R-1，R為大于1的整數(shù)；

在聯(lián)邦學(xué)習(xí)的第R次迭代中，將所述全局聚合特征傳輸?shù)礁骺蛻舳耍允垢骺蛻舳烁鶕?jù)所述全局聚合特征以及本地訓(xùn)練數(shù)據(jù)集中各訓(xùn)練數(shù)據(jù)的標(biāo)簽采用第二神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到每個(gè)客戶端各自對(duì)應(yīng)的最終訓(xùn)練出的模型。