[發(fā)明專(zhuān)利]模型參數(shù)更新方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202110287041.3
• 申請(qǐng)日: 2021-03-17
• 公開(kāi)（公告）號(hào): CN113011603A
• 公開(kāi)（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 梁新樂(lè);劉洋;陳天健
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類(lèi)號(hào): G06N20/20
• 分類(lèi)號(hào): G06N20/20;G06N3/04;G06N3/08
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 張志江

本發(fā)明公開(kāi)了一種模型參數(shù)更新方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，所述方法包括：計(jì)算近端優(yōu)化損失，其中，所述近端優(yōu)化損失表征所述第一設(shè)備中第一模型的參數(shù)在本輪本地迭代中的參數(shù)值相比于在預(yù)設(shè)歷史輪次的本地迭代中參數(shù)值的變化量；基于所述近端優(yōu)化損失、所述第一模型在本輪本地迭代中的模型輸出以及從所述第二設(shè)備接收到的縱向聯(lián)邦中間結(jié)果，計(jì)算得到所述參數(shù)對(duì)應(yīng)的梯度值；采用所述梯度值更新所述參數(shù)，以完成本輪本地迭代。本發(fā)明實(shí)現(xiàn)了在通過(guò)增加本地迭代次數(shù)減少通信成本的同時(shí)，還能夠保證模型的預(yù)測(cè)準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種模型參數(shù)更新方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品。

背景技術(shù)

隨著人工智能的發(fā)展，人們?yōu)榻鉀Q數(shù)據(jù)孤島的問(wèn)題，提出了“聯(lián)邦學(xué)習(xí)”的概念，使得聯(lián)邦雙方在不用給出己方數(shù)據(jù)的情況下，也可進(jìn)行模型訓(xùn)練得到模型參數(shù)，并且可以避免數(shù)據(jù)隱私泄露的問(wèn)題。縱向聯(lián)邦學(xué)習(xí)，縱向聯(lián)邦學(xué)習(xí)是在參與者的數(shù)據(jù)特征重疊較小，而用戶(hù)重疊較多的情況下，取出參與者用戶(hù)相同而用戶(hù)數(shù)據(jù)特征不同的那部分用戶(hù)及數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練機(jī)器學(xué)習(xí)模型。

在縱向聯(lián)邦學(xué)習(xí)過(guò)程中，擁有標(biāo)簽數(shù)據(jù)的參與方需要與其他參與方之間進(jìn)行多次通信，以傳輸對(duì)方更新參數(shù)時(shí)所需的中間結(jié)果，例如模型輸出或模型輸出對(duì)應(yīng)的梯度值。雙方需要進(jìn)行多輪聯(lián)合參數(shù)更新，也即需要進(jìn)行多次通信，因此通信成本較大。針對(duì)這一問(wèn)題，目前提出了參與方利用其他參與方發(fā)送的一次中間結(jié)果在本地進(jìn)行多輪本地迭代的方案，通過(guò)增加本地迭代次數(shù)來(lái)減少聯(lián)合更新參數(shù)的次數(shù)，從而減少通信成本。

但是，該方案中當(dāng)參與方本地迭代次數(shù)較多時(shí)，容易出現(xiàn)參數(shù)失真的問(wèn)題，導(dǎo)致模型的性能無(wú)法保障，而當(dāng)本地迭代次數(shù)較少時(shí)，又無(wú)法有效地減少通信成本。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種模型參數(shù)更新方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，旨在目前縱向聯(lián)邦學(xué)習(xí)方案中通信成本和模型性能難以兼顧的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種模型參數(shù)更新方法，所述方法應(yīng)用于參與縱向聯(lián)邦學(xué)習(xí)的第一設(shè)備，所述第一設(shè)備與參與縱向聯(lián)邦學(xué)習(xí)的第二設(shè)備通信連接，所述方法包括以下步驟：

計(jì)算近端優(yōu)化損失，其中，所述近端優(yōu)化損失表征所述第一設(shè)備中第一模型的參數(shù)在本輪本地迭代中的參數(shù)值相比于在預(yù)設(shè)歷史輪次的本地迭代中參數(shù)值的變化量；

基于所述近端優(yōu)化損失、所述第一模型在本輪本地迭代中的模型輸出以及從所述第二設(shè)備接收到的縱向聯(lián)邦中間結(jié)果，計(jì)算得到所述參數(shù)對(duì)應(yīng)的梯度值；

采用所述梯度值更新所述參數(shù)，以完成本輪本地迭代。

可選地，所述計(jì)算近端優(yōu)化損失，其中，所述近端優(yōu)化損失表征所述第一設(shè)備中第一模型的參數(shù)在本輪本地迭代中的參數(shù)值相比于在預(yù)設(shè)歷史輪次的本地迭代中參數(shù)值的變化量的步驟包括：

將所述第一設(shè)備中第一模型的參數(shù)在本輪本地迭代中的參數(shù)向量與在預(yù)設(shè)歷史輪次的本地迭代中的參數(shù)向量進(jìn)行對(duì)應(yīng)元素相減，得到差向量；

計(jì)算所述差向量中各元素的平方和，基于所述平方和得到所述近端優(yōu)化損失。

可選地，當(dāng)所述第一設(shè)備為擁有標(biāo)簽數(shù)據(jù)的參與方時(shí)，所述縱向聯(lián)邦中間結(jié)果為所述第二設(shè)備中模型的輸出，

所述基于所述近端優(yōu)化損失、所述第一模型在本輪本地迭代中的模型輸出以及從所述第二設(shè)備接收到的縱向聯(lián)邦中間結(jié)果，計(jì)算得到所述參數(shù)對(duì)應(yīng)的梯度值的步驟包括：

將所述第一設(shè)備的訓(xùn)練數(shù)據(jù)輸入所述第一設(shè)備中的第一模型進(jìn)行處理，得到所述第一模型在本輪本地迭代中的模型輸出；

根據(jù)所述模型輸出和所述縱向聯(lián)邦中間結(jié)果計(jì)算得到預(yù)測(cè)結(jié)果，并基于所述預(yù)測(cè)結(jié)果和所述訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)計(jì)算得到預(yù)測(cè)損失；