[發(fā)明專利]圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法及裝置

在審

• 申請?zhí)枺?/td>: 202210440602.3
• 申請日: 2022-04-25
• 公開（公告）號: CN114707644A
• 公開（公告）日: 2022-07-05
• 發(fā)明（設(shè)計）人: 胡斌斌;劉洪瑞;張志強(qiáng);石川;王嘯;周俊
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司;北京郵電大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62;G06F16/28
• 代理公司: 北京億騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，涉及基于用戶關(guān)系圖譜對圖神經(jīng)網(wǎng)絡(luò)進(jìn)行多輪次迭代更新，其中任一輪次包括：

利用當(dāng)前圖神經(jīng)網(wǎng)絡(luò)對所述用戶關(guān)系圖譜進(jìn)行處理，得到與該用戶關(guān)系圖譜中多個用戶節(jié)點對應(yīng)的多個分類預(yù)測向量；

基于所述多個分類預(yù)測向量，為所述多個用戶節(jié)點中第一數(shù)量的未標(biāo)注節(jié)點分配對應(yīng)的偽分類標(biāo)簽；

針對所述第一數(shù)量的未標(biāo)注節(jié)點中的各個未標(biāo)注節(jié)點，確定利用其訓(xùn)練所述當(dāng)前圖神經(jīng)網(wǎng)絡(luò)而產(chǎn)生的信息增益；

根據(jù)與所述多個用戶節(jié)點中各個標(biāo)注節(jié)點對應(yīng)的分類預(yù)測向量和真實分類標(biāo)簽，以及與所述各個未標(biāo)注節(jié)點對應(yīng)的分類預(yù)測向量、偽分類標(biāo)簽和信息增益，更新所述當(dāng)前圖神經(jīng)網(wǎng)絡(luò)中的模型參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述多個用戶節(jié)點中包括第二數(shù)量的未標(biāo)注節(jié)點，各個分類預(yù)測向量中包括與多個類別對應(yīng)的多個預(yù)測概率；

其中，基于所述多個分類預(yù)測向量，為所述多個用戶節(jié)點中第一數(shù)量的未標(biāo)注節(jié)點分配對應(yīng)的偽分類標(biāo)簽，包括：

針對所述第二數(shù)量的未標(biāo)注節(jié)點中的各個節(jié)點，若其所對應(yīng)分類預(yù)測向量中包含的最大預(yù)測概率達(dá)到預(yù)設(shè)標(biāo)準(zhǔn)，則將該節(jié)點歸入所述第一數(shù)量的未標(biāo)注節(jié)點，并將該最大預(yù)測概率所對應(yīng)的類別確定為該節(jié)點的偽分類標(biāo)簽。

3.根據(jù)權(quán)利要求1所述的方法，其中，針對所述第一數(shù)量的未標(biāo)注節(jié)點中的各個未標(biāo)注節(jié)點，確定利用其訓(xùn)練所述當(dāng)前圖神經(jīng)網(wǎng)絡(luò)而產(chǎn)生的信息增益，包括：

針對任意的第一未標(biāo)注節(jié)點，利用其對應(yīng)的第一分類預(yù)測向量和偽分類標(biāo)簽，訓(xùn)練所述當(dāng)前圖神經(jīng)網(wǎng)絡(luò)，并基于訓(xùn)練出的第一圖神經(jīng)網(wǎng)絡(luò)確定該第一未標(biāo)注節(jié)點的第二分類預(yù)測向量；

根據(jù)所述第一分類預(yù)測向量，確定第一信息熵；

根據(jù)所述第二分類預(yù)測向量，確定第二信息熵；

基于所述第二信息熵與所述第一信息熵的差值，得到所述信息增益。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述第一圖神經(jīng)網(wǎng)絡(luò)包括多個聚合層和輸出層；其中，基于訓(xùn)練出的第一圖神經(jīng)網(wǎng)絡(luò)確定該第一未標(biāo)注節(jié)點的第二分類預(yù)測向量，包括：

在所述多個聚合層中的某個聚合層，對上一聚合層輸出的針對所述多個用戶節(jié)點的多個聚合向量中的向量元素進(jìn)行隨機(jī)置零處理，并且，基于所述隨機(jī)置零處理后的多個聚合向量，確定本聚合層針對所述多個用戶節(jié)點輸出的多個聚合向量；

在所述輸出層，對最后一個聚合層針對所述第一未標(biāo)注用戶節(jié)點輸出的聚合向量進(jìn)行處理，得到所述第二分類預(yù)測向量。

5.根據(jù)權(quán)利要求3所述的方法，其中，所述第一圖神經(jīng)網(wǎng)絡(luò)包括多個聚合層和輸出層；其中，基于訓(xùn)練出的第一圖神經(jīng)網(wǎng)絡(luò)確定該第一未標(biāo)注節(jié)點的第二分類預(yù)測向量，包括：

在所述多個聚合層中的某個聚合層，對所述用戶關(guān)系圖譜所對應(yīng)鄰接矩陣中的矩陣元素進(jìn)行隨機(jī)置零處理，并且，基于所述隨機(jī)置零處理后的鄰接矩陣，以及由上一聚合層輸出的針對所述多個用戶節(jié)點的多個聚合向量，確定本聚合層針對所述多個用戶節(jié)點的多個聚合向量；

在所述輸出層，對最后一個聚合層針對所述第一未標(biāo)注用戶節(jié)點輸出的聚合向量進(jìn)行處理，得到所述第二分類預(yù)測向量。

6.根據(jù)權(quán)利要求4或5所述的方法，其中，基于訓(xùn)練出的第一圖神經(jīng)網(wǎng)絡(luò)確定該未標(biāo)注節(jié)點的第二分類預(yù)測向量，包括：

多次執(zhí)行確定所述第二分類預(yù)測向量的操作，對應(yīng)得到多個第二分類預(yù)測向量；

其中，根據(jù)所述第二分類預(yù)測向量，確定第二信息熵，包括：

將所述多個第二分類預(yù)測向量所對應(yīng)多個信息熵的均值，確定為所述第二信息熵。

7.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)與所述多個用戶節(jié)點中各個標(biāo)注節(jié)點對應(yīng)的分類預(yù)測向量和真實分類標(biāo)簽，以及與所述各個未標(biāo)注節(jié)點對應(yīng)的分類預(yù)測向量、偽分類標(biāo)簽和信息增益，更新所述當(dāng)前圖神經(jīng)網(wǎng)絡(luò)中的模型參數(shù)，包括：

根據(jù)所述各個標(biāo)注節(jié)點對應(yīng)的分類預(yù)測向量和真實分類標(biāo)簽，確定第一損失項；

針對所述各個未標(biāo)注節(jié)點，根據(jù)其對應(yīng)的分類預(yù)測向量和偽分類標(biāo)簽，確定第二損失項，并利用其對應(yīng)的信息增益對所述第二損失項進(jìn)行加權(quán)處理；

根據(jù)所述第一損失項和加權(quán)處理后的第二損失項，更新所述模型參數(shù)。