[發(fā)明專利]圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、計(jì)算設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110605272.4
• 申請(qǐng)日: 2021-05-31
• 公開（公告）號(hào): CN113254996B
• 公開（公告）日: 2022-12-27
• 發(fā)明（設(shè)計(jì)）人: 李登昊;王健宗;黃章成
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F21/62
• 分類號(hào): G06F21/62;G06F21/60;G06N3/08
• 代理公司: 深圳國(guó)新南方知識(shí)產(chǎn)權(quán)代理有限公司 44374
• 代理人: 周雷

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。應(yīng)用在一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)中，圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)包括多個(gè)第一終端以及一個(gè)第二終端；圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法包括通過訓(xùn)練終端計(jì)算本地特征；基于本地特征，通過第一終端與第二終端進(jìn)行秘密分享，得到混淆局部特征；通過可信終端對(duì)混淆局部特征進(jìn)行還原聚合，并基于全局特征訓(xùn)練全局圖神經(jīng)網(wǎng)絡(luò)，第二終端根據(jù)網(wǎng)絡(luò)輸出結(jié)果計(jì)算網(wǎng)絡(luò)梯度并返回給可信終端；通過可信終端根據(jù)網(wǎng)絡(luò)梯度更新全局圖神經(jīng)網(wǎng)絡(luò)，以得到更新后的網(wǎng)絡(luò)參數(shù)發(fā)送至對(duì)應(yīng)的訓(xùn)練終端以更新本地圖神經(jīng)網(wǎng)絡(luò)。該圖神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法可有效解決用戶個(gè)人隱私的安全性問題。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、計(jì)算設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來(lái)，將圖結(jié)構(gòu)和深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的圖神經(jīng)網(wǎng)絡(luò)技術(shù)在節(jié)點(diǎn)分類，預(yù)測(cè)等圖模型問題上的表現(xiàn)逐漸超越了傳統(tǒng)的圖算法，因而也越來(lái)越多地應(yīng)用于實(shí)際生產(chǎn)當(dāng)中。但是在實(shí)際應(yīng)用中數(shù)據(jù)往往蘊(yùn)含著不同用戶個(gè)體的隱私信息，傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)模型構(gòu)建方法中建模者必須掌握所有數(shù)據(jù)，在數(shù)據(jù)來(lái)自多個(gè)不同數(shù)據(jù)源的情況下數(shù)據(jù)隱私會(huì)泄露至模型的訓(xùn)練方，導(dǎo)致傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)模型構(gòu)建方法無(wú)法保證用戶個(gè)人隱私的安全性問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、計(jì)算設(shè)備及存儲(chǔ)介質(zhì)，以解決傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法無(wú)法保證用戶個(gè)人隱私的安全性問題。

一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，應(yīng)用在一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)中，所述圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)包括訓(xùn)練終端以及可信終端；所述訓(xùn)練終端包括多個(gè)第一終端以及一個(gè)第二終端；不同的訓(xùn)練終端包括不同的本地圖數(shù)據(jù)以及本地圖神經(jīng)網(wǎng)絡(luò)；所述圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法包括：

通過所述訓(xùn)練終端根據(jù)所述本地圖數(shù)據(jù)計(jì)算對(duì)應(yīng)的本地特征；

基于所述本地特征，通過所述第一終端與所述第二終端進(jìn)行秘密分享，得到所述本地特征對(duì)應(yīng)的混淆局部特征，并將所述混淆局部特征發(fā)送給所述可信終端；

通過所述可信終端基于各訓(xùn)練終端發(fā)送的混淆局部特征進(jìn)行還原聚合，以獲取全局特征，并基于所述全局特征訓(xùn)練全局圖神經(jīng)網(wǎng)絡(luò)，以將得到的網(wǎng)絡(luò)輸出結(jié)果發(fā)送至所述第二終端，以使所述第二終端根據(jù)所述網(wǎng)絡(luò)輸出結(jié)果計(jì)算網(wǎng)絡(luò)梯度并返回給所述可信終端；

通過所述可信終端根據(jù)所述網(wǎng)絡(luò)梯度更新所述全局圖神經(jīng)網(wǎng)絡(luò)，以得到更新后的網(wǎng)絡(luò)參數(shù)，并將所述更新后的網(wǎng)絡(luò)參數(shù)發(fā)送至對(duì)應(yīng)的所述訓(xùn)練終端以更新所述本地圖神經(jīng)網(wǎng)絡(luò)。

一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，包括：

本地特征計(jì)算模塊，用于通過所述訓(xùn)練終端根據(jù)所述本地圖數(shù)據(jù)計(jì)算對(duì)應(yīng)的本地特征；

秘密分享模塊，用于基于所述本地特征，通過所述第一終端與所述第二終端進(jìn)行秘密分享，得到所述本地特征對(duì)應(yīng)的混淆局部特征，并將所述混淆局部特征發(fā)送給所述可信終端；

特征還原聚合模塊，用于通過所述可信終端基于各訓(xùn)練終端發(fā)送的混淆局部特征進(jìn)行還原聚合，以獲取全局特征，并基于所述全局特征訓(xùn)練全局圖神經(jīng)網(wǎng)絡(luò)，以將得到的網(wǎng)絡(luò)輸出結(jié)果發(fā)送至所述第二終端，以使所述第二終端根據(jù)所述網(wǎng)絡(luò)輸出結(jié)果計(jì)算網(wǎng)絡(luò)梯度并返回給所述可信終端；

網(wǎng)絡(luò)更新模塊，用于通過所述可信終端根據(jù)所述網(wǎng)絡(luò)梯度更新所述全局圖神經(jīng)網(wǎng)絡(luò)，以得到更新后的網(wǎng)絡(luò)參數(shù)，并將所述更新后的網(wǎng)絡(luò)參數(shù)發(fā)送至對(duì)應(yīng)的所述訓(xùn)練終端以更新所述本地圖神經(jīng)網(wǎng)絡(luò)。

一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的步驟。

一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的步驟。