[發(fā)明專利]一種基于權(quán)重不確定的圖卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法、裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011546124.1
• 申請(qǐng)日: 2020-12-23
• 公開(kāi)（公告）號(hào): CN112651436A
• 公開(kāi)（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 孫月;閆瀟寧
• 申請(qǐng)（專利權(quán)）人: 深圳市安軟科技股份有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳君信誠(chéng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44636
• 代理人: 劉偉

本申請(qǐng)實(shí)施例屬于深度學(xué)習(xí)技術(shù)領(lǐng)域，涉及一種基于權(quán)重不確定的圖卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，所述方法包括：獲取圖結(jié)構(gòu)數(shù)據(jù)并進(jìn)行預(yù)處理；構(gòu)建圖卷積神經(jīng)網(wǎng)絡(luò)，并基于所述圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)先驗(yàn)分布，通過(guò)KL散度損失獲取所述圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)后驗(yàn)分布；根據(jù)所述權(quán)重參數(shù)后驗(yàn)分布更新所述圖卷積神經(jīng)網(wǎng)絡(luò)，并使用所述圖結(jié)構(gòu)數(shù)據(jù)訓(xùn)練所述更新后的圖卷積神經(jīng)網(wǎng)絡(luò)。基于構(gòu)建的圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)先驗(yàn)分布利用KL散度損失來(lái)學(xué)習(xí)圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)后驗(yàn)分布，并使用權(quán)重參數(shù)后驗(yàn)分布來(lái)更新圖卷積神經(jīng)網(wǎng)絡(luò)，從而在圖卷積神經(jīng)網(wǎng)絡(luò)權(quán)重中引入不確定性，提高了圖卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖結(jié)構(gòu)數(shù)據(jù)分類(lèi)的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種基于權(quán)重不確定的圖卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法、裝置、基于權(quán)重不確定的圖卷積神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)分類(lèi)系統(tǒng)、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在過(guò)去的十年中，深度學(xué)習(xí)在常規(guī)的歐式空間的數(shù)據(jù)上取得了巨大的成功，例如語(yǔ)音，圖像和自然語(yǔ)言處理等。然而，非歐式數(shù)據(jù)結(jié)構(gòu)在現(xiàn)實(shí)世界中是無(wú)處不在的，它可以代表對(duì)象之間的關(guān)系，例如社交網(wǎng)絡(luò)，電子商務(wù)網(wǎng)絡(luò)，生物結(jié)構(gòu)網(wǎng)絡(luò)和交通網(wǎng)絡(luò)等。因此，如何利用深度學(xué)習(xí)方法來(lái)處理圖結(jié)構(gòu)數(shù)據(jù)，在過(guò)去幾年中引起了廣泛關(guān)注。

盡管現(xiàn)有方法成功地將卷積運(yùn)算的思想應(yīng)用于處理非歐幾里德圖數(shù)據(jù)，并獲得了相當(dāng)不錯(cuò)的性能，但是它們將圖視為代表節(jié)點(diǎn)之間的真實(shí)關(guān)系來(lái)進(jìn)行處理。在許多情況下，應(yīng)用程序中使用的圖形本身是從復(fù)雜的數(shù)據(jù)或不正確的建模假設(shè)中得出的。在這些復(fù)雜的圖中，虛假邊緣的存在或節(jié)點(diǎn)之間沒(méi)有很強(qiáng)的關(guān)系會(huì)影響模型的學(xué)習(xí)。為了解決圖結(jié)構(gòu)數(shù)據(jù)的不確定性，有人提出了一種Byesian(貝葉斯)框架，其中觀察到的圖被視為參數(shù)隨機(jī)圖模型描述的集合中的隨機(jī)樣本。然后，受這項(xiàng)工作的啟發(fā)，Pal等人分別提出了基于復(fù)制節(jié)點(diǎn)的圖的非參數(shù)生成模型和圖的替代生成模型。但是，這些方法側(cè)重于如何有效地生成新圖，然后通過(guò)采用圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)模型的方法來(lái)實(shí)際學(xué)習(xí)圖結(jié)構(gòu)表示。此外，這些方法無(wú)法正確評(píng)估訓(xùn)練數(shù)據(jù)中的不確定性，導(dǎo)致模型對(duì)正確的節(jié)點(diǎn)類(lèi)別或預(yù)測(cè)會(huì)做出過(guò)分自信的決定，從而導(dǎo)致模型節(jié)點(diǎn)分類(lèi)準(zhǔn)確率的降低。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提出一種基于權(quán)重不確定的圖卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，以使圖卷積神經(jīng)網(wǎng)絡(luò)在面對(duì)圖結(jié)構(gòu)數(shù)據(jù)時(shí)能夠正確評(píng)估數(shù)據(jù)的不確定性，從而提高模型節(jié)點(diǎn)分類(lèi)的準(zhǔn)確率。

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例提供一種基于權(quán)重不確定的圖卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，采用了如下所述的技術(shù)方案：

獲取圖結(jié)構(gòu)數(shù)據(jù)并進(jìn)行預(yù)處理；

構(gòu)建圖卷積神經(jīng)網(wǎng)絡(luò)，并基于所述圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)先驗(yàn)分布，通過(guò)KL散度損失獲取所述圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)后驗(yàn)分布；

根據(jù)所述權(quán)重參數(shù)后驗(yàn)分布更新所述圖卷積神經(jīng)網(wǎng)絡(luò)，并使用所述圖結(jié)構(gòu)數(shù)據(jù)訓(xùn)練所述更新后的圖卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步的，所述基于所述圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)先驗(yàn)分布，通過(guò)KL散度損失獲取所述圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)后驗(yàn)分布的步驟包括：

獲取所述圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)先驗(yàn)分布，所述權(quán)重參數(shù)包括權(quán)重的期望和權(quán)重的方差；

初始化所述圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)后驗(yàn)分布并對(duì)進(jìn)行重采樣，得到所述權(quán)重參數(shù)后驗(yàn)分布重采樣后的初始值；

根據(jù)所述權(quán)重參數(shù)先驗(yàn)分布和所述權(quán)重參數(shù)后驗(yàn)分布重采樣后的初始值使用KL散度損失更新所述圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)后驗(yàn)分布。

進(jìn)一步的，所述根據(jù)所述權(quán)重參數(shù)后驗(yàn)分布更新所述圖卷積神經(jīng)網(wǎng)絡(luò)的步驟包括：

基于所述重采樣權(quán)重參數(shù)后驗(yàn)分布進(jìn)行所述圖卷積神經(jīng)網(wǎng)絡(luò)的前向傳播并計(jì)算交叉熵?fù)p失；

基于所述交叉熵?fù)p失和所述KL散度損失計(jì)算總損失；