[發(fā)明專利]圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110602892.2
• 申請(qǐng)日: 2021-05-31
• 公開（公告）號(hào): CN113222143B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 李登昊;王健宗;黃章成
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06N3/098
• 分類號(hào): G06N3/098;G06F16/2455;G06F21/62
• 代理公司: 深圳國(guó)新南方知識(shí)產(chǎn)權(quán)代理有限公司 44374
• 代理人: 周雷

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、系統(tǒng)、計(jì)算設(shè)備及存儲(chǔ)介質(zhì)。該圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法應(yīng)用在圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)中,包括多個(gè)用戶端以及一個(gè)訓(xùn)練端；圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法包括：訓(xùn)練端初始化圖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；用戶端根據(jù)網(wǎng)絡(luò)參數(shù)和預(yù)先構(gòu)建的本地子圖訓(xùn)練本地的圖神經(jīng)網(wǎng)絡(luò)，得到真實(shí)梯度；用戶端生成非目標(biāo)特征的隨機(jī)偽梯度，并將隨機(jī)偽梯度與真實(shí)梯度作為用戶端對(duì)應(yīng)的局部梯度發(fā)送至訓(xùn)練端；訓(xùn)練端對(duì)接收到的各用戶端發(fā)送的局部梯度進(jìn)行梯度聚合，得到聚合梯度，并將聚合梯度分發(fā)至對(duì)應(yīng)的用戶端，以使各用戶端根據(jù)聚合梯度更新本地的圖神經(jīng)網(wǎng)絡(luò)。該圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法可有保證用戶個(gè)人隱私的安全性問題。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來，在推薦系統(tǒng)中圖神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用日益廣泛。基于圖神經(jīng)網(wǎng)絡(luò)對(duì)推薦系統(tǒng)進(jìn)行建模方法一般是將用戶和推薦項(xiàng)目均作為節(jié)點(diǎn)嵌入圖中，用戶和其感興趣的項(xiàng)目之間連接。圖結(jié)構(gòu)中的每個(gè)節(jié)點(diǎn)的特征由一特征向量描述，在圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中該特征向量被不斷優(yōu)化直至收斂。

然而傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)需要完整的圖結(jié)構(gòu)信息，在推薦系統(tǒng)中則需要訓(xùn)練方會(huì)收集各用戶端的用戶偏好信息作為訓(xùn)練樣本，而這些信息中包含了用戶的個(gè)人隱私，容易出現(xiàn)用戶隱私泄露的安全性問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決現(xiàn)有圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程中，無法保證用戶個(gè)人隱私的安全性問題。

一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，應(yīng)用在圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)中；所述圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)包括多個(gè)用戶端以及一個(gè)訓(xùn)練端；所述圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法包括如下步驟：

通過所述訓(xùn)練端初始化圖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；其中，所述網(wǎng)絡(luò)參數(shù)包括用戶節(jié)點(diǎn)對(duì)應(yīng)的第一特征、全局推薦項(xiàng)目對(duì)應(yīng)的第二特征以及所述用戶節(jié)點(diǎn)與對(duì)應(yīng)的目標(biāo)推薦項(xiàng)目之間的連接權(quán)值；所述目標(biāo)推薦項(xiàng)目為所述全局推薦項(xiàng)目中與所述用戶節(jié)點(diǎn)具有連接關(guān)系的推薦項(xiàng)目；所述第二特征包括目標(biāo)推薦項(xiàng)目對(duì)應(yīng)的目標(biāo)特征以及非目標(biāo)推薦項(xiàng)目對(duì)應(yīng)的非目標(biāo)特征；

通過所述訓(xùn)練端將所述網(wǎng)絡(luò)參數(shù)發(fā)送至與所述用戶節(jié)點(diǎn)對(duì)應(yīng)的用戶端，以使所述用戶端根據(jù)所述網(wǎng)絡(luò)參數(shù)和預(yù)先構(gòu)建的本地子圖訓(xùn)練本地的圖神經(jīng)網(wǎng)絡(luò)，得到真實(shí)梯度；其中，所述真實(shí)梯度包括所述第一特征、所述目標(biāo)特征以及所述連接權(quán)值對(duì)應(yīng)的真實(shí)梯度；

通過所述用戶端生成所述非目標(biāo)特征的隨機(jī)偽梯度，并將所述隨機(jī)偽梯度與所述真實(shí)梯度作為所述用戶端對(duì)應(yīng)的局部梯度發(fā)送至所述訓(xùn)練端；

通過所述訓(xùn)練端對(duì)接收到的各用戶端發(fā)送的所述局部梯度進(jìn)行梯度聚合，得到所述網(wǎng)絡(luò)參數(shù)對(duì)應(yīng)的聚合梯度，并將所述聚合梯度返回至對(duì)應(yīng)的用戶端，以使用戶端根據(jù)所述聚合梯度更新本地的圖神經(jīng)網(wǎng)絡(luò)。

一種圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，包括：

初始化模塊，用于通過所述訓(xùn)練端初始化圖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；其中，所述網(wǎng)絡(luò)參數(shù)包括用戶節(jié)點(diǎn)對(duì)應(yīng)的第一特征、全局推薦項(xiàng)目對(duì)應(yīng)的第二特征以及所述用戶節(jié)點(diǎn)與對(duì)應(yīng)的目標(biāo)推薦項(xiàng)目之間的連接權(quán)值；所述目標(biāo)推薦項(xiàng)目為所述全局推薦項(xiàng)目中與所述用戶節(jié)點(diǎn)具有連接關(guān)系的推薦項(xiàng)目；所述第二特征包括目標(biāo)推薦項(xiàng)目對(duì)應(yīng)的目標(biāo)特征以及非目標(biāo)推薦項(xiàng)目對(duì)應(yīng)的非目標(biāo)特征；

真實(shí)梯度計(jì)算模塊，用于通過所述訓(xùn)練端將所述網(wǎng)絡(luò)參數(shù)發(fā)送至與所述用戶節(jié)點(diǎn)對(duì)應(yīng)的用戶端，以使所述用戶端根據(jù)所述網(wǎng)絡(luò)參數(shù)和預(yù)先構(gòu)建的本地子圖訓(xùn)練本地的圖神經(jīng)網(wǎng)絡(luò)，得到真實(shí)梯度；其中，所述真實(shí)梯度包括所述第一特征、所述目標(biāo)特征以及所述連接權(quán)值對(duì)應(yīng)的真實(shí)梯度；

局部梯度獲取與發(fā)送模塊，用于通過所述用戶端生成所述非目標(biāo)特征的隨機(jī)偽梯度，并將所述隨機(jī)偽梯度與所述真實(shí)梯度作為所述用戶端對(duì)應(yīng)的局部梯度發(fā)送至所述訓(xùn)練端；