[發(fā)明專利]一種聯(lián)合訓(xùn)練識(shí)別模型的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011364313.7
• 申請(qǐng)日: 2020-11-27
• 公開(kāi)（公告）號(hào): CN112364819A
• 公開(kāi)（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 劉健;郭明宇;鄭龍飛
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本發(fā)明實(shí)施例提供了一種可用于隱私保護(hù)的聯(lián)合訓(xùn)練識(shí)別模型的方法及裝置，聯(lián)合訓(xùn)練通過(guò)分別維護(hù)多個(gè)識(shí)別模型的多個(gè)終端共同實(shí)現(xiàn)，多個(gè)識(shí)別模型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相同，任一識(shí)別模型至少包括特征提取層和結(jié)果識(shí)別層,該方法通過(guò)多個(gè)終端中任意的第一終端執(zhí)行，以及包括:獲取本地的第一樣本集,或包含隱私數(shù)據(jù)的第一樣本集；將其中的樣本輸入與第一終端對(duì)應(yīng)的第一識(shí)別模型，利用特征提取層提取樣本的特征,根據(jù)樣本的特征和識(shí)別標(biāo)簽,基于結(jié)果識(shí)別層確定確定該識(shí)別模型的第一梯度；提供第一梯度，并獲取平均梯度，平均梯度根據(jù)多個(gè)識(shí)別模型各自對(duì)應(yīng)的梯度而確定；根據(jù)平均梯度，更新第一識(shí)別模型的特征提取層。

技術(shù)領(lǐng)域

本說(shuō)明書(shū)一個(gè)或多個(gè)實(shí)施例涉及機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及一種聯(lián)合訓(xùn)練識(shí)別模型的方法和裝置。

背景技術(shù)

隨著人工智能和計(jì)算機(jī)識(shí)別技術(shù)的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的識(shí)別技術(shù)在各個(gè)領(lǐng)域得到了廣泛的應(yīng)用，例如人臉識(shí)別技術(shù)作為一種快捷方便的新型認(rèn)證方式，被應(yīng)用于諸如金融場(chǎng)景中的刷臉支付、民航場(chǎng)景中的刷臉認(rèn)證、辦公場(chǎng)景下的刷臉門(mén)禁，酒店住宿刷臉認(rèn)證等大量場(chǎng)景中。相比于傳統(tǒng)的基于刷卡或密碼的身份認(rèn)證方式，基于神經(jīng)網(wǎng)絡(luò)的識(shí)別技術(shù)如人臉識(shí)別具有很多優(yōu)點(diǎn)，如無(wú)接觸、快捷有效、難以偽造等優(yōu)點(diǎn)，因此逐漸成為身份認(rèn)證的主流方式。為了實(shí)現(xiàn)更好的識(shí)別模型性能，就需要更多的樣本數(shù)據(jù)，如人臉識(shí)別中的人臉數(shù)據(jù)。在進(jìn)行識(shí)別模型訓(xùn)練時(shí)，往往多方數(shù)據(jù)源之間存在部分重合的類別，導(dǎo)致數(shù)據(jù)組合時(shí)需要多方數(shù)據(jù)清洗，該工作需要耗費(fèi)大量的算力和人力。并且，擁有訓(xùn)練數(shù)據(jù)-如人臉數(shù)據(jù)，的不同組織或國(guó)家之間通常很難直接共享原始數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練，從而形成了數(shù)據(jù)孤島問(wèn)題，進(jìn)一步導(dǎo)致模型無(wú)法有更好的泛化能力。

因此需要一種新的識(shí)別模型訓(xùn)練方法。

發(fā)明內(nèi)容

本說(shuō)明書(shū)實(shí)施例旨在提供一種更有效的降低多方數(shù)據(jù)清洗的計(jì)算消耗，同時(shí)解決數(shù)據(jù)孤島問(wèn)題的方案，以解決現(xiàn)有技術(shù)中的不足。

為實(shí)現(xiàn)上述目的，本說(shuō)明書(shū)一方面提供一種聯(lián)合訓(xùn)練識(shí)別模型的方法，所述聯(lián)合訓(xùn)練通過(guò)多個(gè)終端共同實(shí)現(xiàn)，所述多個(gè)終端分別維護(hù)多個(gè)識(shí)別模型，所述多個(gè)識(shí)別模型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相同，任一識(shí)別模型至少包括特征提取層和結(jié)果識(shí)別層,所述方法通過(guò)所述多個(gè)終端中任意的第一終端執(zhí)行，所述方法包括:

獲取本地的第一樣本集；其中包含多個(gè)樣本及其對(duì)應(yīng)的識(shí)別標(biāo)簽；

將所述第一樣本集中的樣本輸入所述多個(gè)識(shí)別模型中與所述第一終端對(duì)應(yīng)的第一識(shí)別模型，利用特征提取層提取所述樣本的特征,根據(jù)所述樣本的特征和其對(duì)應(yīng)的識(shí)別標(biāo)簽,基于所述結(jié)果識(shí)別層，確定該識(shí)別模型的第一梯度；

提供所述第一梯度，并獲取平均梯度，所述平均梯度根據(jù)所述多個(gè)識(shí)別模型各自對(duì)應(yīng)的梯度而確定；

根據(jù)所述平均梯度，更新所述第一識(shí)別模型的特征提取層。

在一個(gè)實(shí)施例中，所述訓(xùn)練方法還包括，在將所述第一樣本集中的樣本輸入所述多個(gè)識(shí)別模型中與所述第一終端對(duì)應(yīng)的第一識(shí)別模型之前，

對(duì)所述特征提取層進(jìn)行初始化，得到第一初始化參數(shù)；提供所述第一初始化參數(shù)；

或

獲取第二初始化參數(shù)，根據(jù)所述第二初始化參數(shù)更新所述特征提取層。

在一個(gè)實(shí)施例中，所述識(shí)別模型包括圖像識(shí)別模型、語(yǔ)音識(shí)別模型、文字識(shí)別模型中的一種。

在一個(gè)更具體的實(shí)施例中，所述圖像識(shí)別模型包括人臉識(shí)別模型。

在一個(gè)實(shí)施例中，所述識(shí)別模型為圖像識(shí)別模型，所述多個(gè)終端包括第二終端,具有對(duì)應(yīng)的第二樣本集；所述第二樣本集：識(shí)別標(biāo)簽的標(biāo)注方式與所述第一樣本集不同；或者，

圖像分辨率或清晰度標(biāo)準(zhǔn)與所述第一樣本集不同；或者，

圖像數(shù)據(jù)格式或尺寸與所述第一樣本集不同。