[發(fā)明專利]使用可信執(zhí)行環(huán)境來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010030931.1
• 申請(qǐng)日: 2020-01-13
• 公開（公告）號(hào): CN111260053A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設(shè)計(jì)）人: 陸宇飛;王磊;王力
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04;G06F21/62;G06F21/60
• 代理公司: 北京永新同創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11376
• 代理人: 林錦輝;劉景峰

本說(shuō)明書實(shí)施例提供使用可信執(zhí)行環(huán)境的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法及裝置。在該方法中，神經(jīng)網(wǎng)絡(luò)模型被依序分割為位于第一設(shè)備的可信執(zhí)行環(huán)境中的第一部分神經(jīng)網(wǎng)絡(luò)模型和位于第二設(shè)備的非可信執(zhí)行環(huán)境中的第二部分神經(jīng)網(wǎng)絡(luò)模型。在每輪模型訓(xùn)練時(shí)，當(dāng)前第一部分神經(jīng)網(wǎng)絡(luò)模型在可信執(zhí)行環(huán)境中對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行處理以得到中間結(jié)果，當(dāng)前第二部分神經(jīng)網(wǎng)絡(luò)模型在非可信執(zhí)行環(huán)境中對(duì)中間結(jié)果進(jìn)行處理以得到當(dāng)前預(yù)測(cè)值，并確定出預(yù)測(cè)差值。在不滿足循環(huán)結(jié)束條件時(shí)，根據(jù)當(dāng)前預(yù)測(cè)差值，調(diào)整當(dāng)前第一部分神經(jīng)網(wǎng)絡(luò)模型和當(dāng)前第二部分神經(jīng)網(wǎng)絡(luò)模型的各層模型參數(shù)。利用該方法，能夠在確保隱私數(shù)據(jù)安全的情況下實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練。

技術(shù)領(lǐng)域

本說(shuō)明書的實(shí)施例通常涉及計(jì)算機(jī)領(lǐng)域，更具體地，涉及使用可信執(zhí)行環(huán)境(TEE，Trusted Execution Environment)來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法及裝置。

背景技術(shù)

對(duì)于公司或企業(yè)而言，數(shù)據(jù)是非常重要的資產(chǎn)，比如，用戶數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。用戶數(shù)據(jù)例如可以包括用戶身份數(shù)據(jù)等。業(yè)務(wù)數(shù)據(jù)例如可以包括在公司提供的業(yè)務(wù)應(yīng)用上發(fā)生的業(yè)務(wù)數(shù)據(jù)，比如淘寶上的商品交易數(shù)據(jù)等。保護(hù)數(shù)據(jù)安全是公司或企業(yè)廣泛關(guān)注的技術(shù)問題。

在公司或企業(yè)進(jìn)行業(yè)務(wù)運(yùn)營(yíng)時(shí)，通常會(huì)需要使用機(jī)器學(xué)習(xí)模型來(lái)進(jìn)行模型預(yù)測(cè)，以確定業(yè)務(wù)運(yùn)營(yíng)風(fēng)險(xiǎn)或者進(jìn)行業(yè)務(wù)運(yùn)營(yíng)決策。神經(jīng)網(wǎng)絡(luò)模型是機(jī)器學(xué)習(xí)領(lǐng)域廣泛使用的機(jī)器學(xué)習(xí)模型。神經(jīng)網(wǎng)絡(luò)模型可以由模型服務(wù)提供方來(lái)提供。神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時(shí)會(huì)使用數(shù)據(jù)擁有方的私有數(shù)據(jù)。如何在進(jìn)行神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時(shí)保護(hù)數(shù)據(jù)提供方的數(shù)據(jù)隱私安全，成為亟待解決的問題。

發(fā)明內(nèi)容

鑒于上述問題，本說(shuō)明書的實(shí)施例提供一種使用可信執(zhí)行環(huán)境來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法及裝置，其能夠在保護(hù)數(shù)據(jù)提供方的數(shù)據(jù)隱私安全的情況下實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練。

根據(jù)本說(shuō)明書實(shí)施例的一個(gè)方面，提供一種用于使用可信執(zhí)行環(huán)境來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方法，所述神經(jīng)網(wǎng)絡(luò)模型被依序分割為第一部分神經(jīng)網(wǎng)絡(luò)模型和第二部分神經(jīng)網(wǎng)絡(luò)模型，所述第一部分神經(jīng)網(wǎng)絡(luò)模型位于第一設(shè)備的可信執(zhí)行環(huán)境中，以及所述第二部分神經(jīng)網(wǎng)絡(luò)模型位于第二設(shè)備的非可信執(zhí)行環(huán)境中，所述方法包括：執(zhí)行下述循環(huán)過程，直到滿足循環(huán)結(jié)束條件：將數(shù)據(jù)提供方的訓(xùn)練樣本數(shù)據(jù)提供給所述可信執(zhí)行環(huán)境中的當(dāng)前第一部分神經(jīng)網(wǎng)絡(luò)模型，得到中間結(jié)果；將所述中間結(jié)果提供給所述非可信執(zhí)行環(huán)境中的當(dāng)前第二部分神經(jīng)網(wǎng)絡(luò)模型，得到當(dāng)前預(yù)測(cè)值；基于所述當(dāng)前預(yù)測(cè)值和所述訓(xùn)練樣本數(shù)據(jù)的標(biāo)簽值確定當(dāng)前預(yù)測(cè)差值；以及在不滿足所述循環(huán)結(jié)束條件時(shí)，根據(jù)所述當(dāng)前預(yù)測(cè)差值，調(diào)整所述當(dāng)前第一部分神經(jīng)網(wǎng)絡(luò)模型和所述當(dāng)前第二部分神經(jīng)網(wǎng)絡(luò)模型的各層模型參數(shù)，所述調(diào)整后的第一部分神經(jīng)網(wǎng)絡(luò)模型和第二部分神經(jīng)網(wǎng)絡(luò)模型用作下一循環(huán)過程的當(dāng)前第一部分神經(jīng)網(wǎng)絡(luò)模型和當(dāng)前第二部分神經(jīng)網(wǎng)絡(luò)模型。

可選地，在上述方面的一個(gè)示例中，所述神經(jīng)網(wǎng)絡(luò)模型的依序分割可以取決于下述參數(shù)中的至少一種：所述神經(jīng)網(wǎng)絡(luò)模型的分層結(jié)構(gòu)組成；各個(gè)分層結(jié)構(gòu)的復(fù)雜度；所述可信執(zhí)行環(huán)境的存儲(chǔ)能力；所述可信執(zhí)行環(huán)境的算力；和每輪模型訓(xùn)練時(shí)使用的訓(xùn)練樣本數(shù)目。

可選地，在上述方面的一個(gè)示例中，所述數(shù)據(jù)提供方包括多個(gè)數(shù)據(jù)提供方，各個(gè)數(shù)據(jù)提供方所提供的訓(xùn)練樣本數(shù)據(jù)是經(jīng)過加密后的訓(xùn)練樣本數(shù)據(jù)，所述第一設(shè)備設(shè)置在所述多個(gè)數(shù)據(jù)提供方之外的第三方，以及所述可信執(zhí)行環(huán)境中還可以設(shè)置有數(shù)據(jù)融合單元，將數(shù)據(jù)提供方的訓(xùn)練樣本數(shù)據(jù)提供給所述可信執(zhí)行環(huán)境中的當(dāng)前第一部分神經(jīng)網(wǎng)絡(luò)模型，得到中間結(jié)果包括：將各個(gè)數(shù)據(jù)提供方的經(jīng)過加密后的訓(xùn)練樣本數(shù)據(jù)提供給所述可信執(zhí)行環(huán)境中的數(shù)據(jù)融合單元；在所述數(shù)據(jù)融合單元處，對(duì)所接收的訓(xùn)練樣本數(shù)據(jù)進(jìn)行解密和數(shù)據(jù)融合；以及將經(jīng)過數(shù)據(jù)融合后的訓(xùn)練樣本數(shù)據(jù)提供給所述可信執(zhí)行環(huán)境中的當(dāng)前第一部分神經(jīng)網(wǎng)絡(luò)模型，得到中間結(jié)果。