[發(fā)明專利]預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)的方法以及裝置

在審

• 申請?zhí)枺?/td>: 202010549634.8
• 申請日: 2020-06-16
• 公開（公告）號: CN111860769A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 黃正杰;李偉彬;馮仕堃
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11412
• 代理人: 田宏賓

本申請公開了一種預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)的方法、裝置、電子設(shè)備和可讀存儲介質(zhì)，涉及深度學(xué)習(xí)技術(shù)領(lǐng)域。本申請?jiān)陬A(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)時所采用的實(shí)現(xiàn)方案為：獲取待訓(xùn)練的原樣本；擴(kuò)增各原樣本，得到各原樣本對應(yīng)的正樣本以及負(fù)樣本；利用各原樣本以及各原樣本對應(yīng)的正樣本、負(fù)樣本、弱樣本，構(gòu)造各原樣本對應(yīng)的樣本組；分別將各樣本組中的原樣本以及其他樣本中的一種作為圖神經(jīng)網(wǎng)絡(luò)的輸入，對所述圖神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，直至所述圖神經(jīng)網(wǎng)絡(luò)收斂。本申請能夠?qū)崿F(xiàn)圖級別的圖神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練。

技術(shù)領(lǐng)域

本申請涉及人工智能技術(shù)領(lǐng)域，尤其涉及深度學(xué)習(xí)技術(shù)領(lǐng)域中的一種預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)的方法、裝置、電子設(shè)備和可讀存儲介質(zhì)。

背景技術(shù)

現(xiàn)有技術(shù)在進(jìn)行圖神經(jīng)網(wǎng)絡(luò)(GNN，Graph Neural Network)的預(yù)訓(xùn)練時，通常采用的是Deepwalk、LINE、Nod2vec、Deep Graph Infomax等方式。但是采用Deepwalk、LINE、Nod2vec等游走型算法進(jìn)行圖神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練時，一方面仍然屬于節(jié)點(diǎn)級別的預(yù)訓(xùn)練，另一方面往往會忽略圖中節(jié)點(diǎn)本身的特征信息，導(dǎo)致預(yù)訓(xùn)練得到的圖神經(jīng)網(wǎng)絡(luò)的效果較差；而Deep Graph Infomax模型也是屬于節(jié)點(diǎn)級別的預(yù)訓(xùn)練模型，其并未考慮到基于圖級別來實(shí)現(xiàn)對圖神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練。

發(fā)明內(nèi)容

本申請為解決技術(shù)問題所采用的技術(shù)方案是提供一種預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)的方法，包括：獲取待訓(xùn)練的原樣本；擴(kuò)增各原樣本，得到各原樣本對應(yīng)的正樣本以及負(fù)樣本；利用各原樣本以及各原樣本對應(yīng)的正樣本、負(fù)樣本、弱樣本，構(gòu)造各原樣本對應(yīng)的樣本組；分別將各樣本組中的原樣本以及其他樣本中的一種作為圖神經(jīng)網(wǎng)絡(luò)的輸入，對所述圖神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，直至所述圖神經(jīng)網(wǎng)絡(luò)收斂。

本申請為解決技術(shù)問題所采用的技術(shù)方案是提供一種預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)的裝置，包括：獲取單元，用于獲取待訓(xùn)練的原樣本；處理單元，用于擴(kuò)增各原樣本，得到各原樣本對應(yīng)的正樣本以及負(fù)樣本；構(gòu)造單元，用于利用各原樣本以及各原樣本對應(yīng)的正樣本、負(fù)樣本、弱樣本，構(gòu)造各原樣本對應(yīng)的樣本組；訓(xùn)練單元，用于分別將各樣本組中的原樣本以及其他樣本中的一種作為圖神經(jīng)網(wǎng)絡(luò)的輸入，對所述圖神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，直至所述圖神經(jīng)網(wǎng)絡(luò)收斂。

上述申請中的一個實(shí)施例具有如下優(yōu)點(diǎn)或有益效果：本申請能夠?qū)崿F(xiàn)對圖神經(jīng)網(wǎng)絡(luò)進(jìn)行圖級別的預(yù)訓(xùn)練。因?yàn)椴捎昧双@取與原樣本對應(yīng)的不同樣本來使用對比學(xué)習(xí)的方式對圖神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練的技術(shù)手段，所以克服了現(xiàn)有技術(shù)僅能夠基于節(jié)點(diǎn)級別進(jìn)行圖神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練的技術(shù)問題，實(shí)現(xiàn)了對圖神經(jīng)網(wǎng)絡(luò)進(jìn)行圖級別的預(yù)訓(xùn)練的技術(shù)效果。

上述可選方式所具有的其他效果將在下文中結(jié)合具體實(shí)施例加以說明。

附圖說明

附圖用于更好地理解本方案，不構(gòu)成對本申請的限定。其中：

圖1是根據(jù)本申請第一實(shí)施例的示意圖；

圖2是根據(jù)本申請第二實(shí)施例的示意圖；

圖3是用來實(shí)現(xiàn)本申請實(shí)施例的預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)的方法的電子設(shè)備的框圖。

具體實(shí)施方式

以下結(jié)合附圖對本申請的示范性實(shí)施例做出說明，其中包括本申請實(shí)施例的各種細(xì)節(jié)以助于理解，應(yīng)當(dāng)將它們認(rèn)為僅僅是示范性的。因此，本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)認(rèn)識到，可以對這里描述的實(shí)施例做出各種改變和修改，而不會背離本申請的范圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對公知功能和結(jié)構(gòu)的描述。

圖1是根據(jù)本申請第一實(shí)施例的示意圖。如圖1中所示，本實(shí)施例的預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)的方法，具體可以包括如下步驟：

S101、獲取待訓(xùn)練的原樣本；

S102、擴(kuò)增各原樣本，得到各原樣本對應(yīng)的正樣本以及負(fù)樣本；