[發(fā)明專利]一種基于梯度的圖神經(jīng)網(wǎng)絡(luò)可解釋性分析方法

在審

• 申請?zhí)枺?/td>: 201911069788.0
• 申請日: 2019-11-06
• 公開（公告）號: CN110826699A
• 公開（公告）日: 2020-02-21
• 發(fā)明（設(shè)計(jì)）人: 謝尚晟;魯鳴鳴;李婷
• 申請（專利權(quán)）人: 中南大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于梯度的圖神經(jīng)網(wǎng)絡(luò)可解釋性分析方法。本發(fā)明方法通過向訓(xùn)練好參數(shù)的神經(jīng)網(wǎng)絡(luò)輸入圖結(jié)構(gòu)數(shù)據(jù)，遞歸計(jì)算圖神經(jīng)網(wǎng)絡(luò)輸出與輸入之間所有前向傳播路徑的梯度，根據(jù)梯度解釋各個輸入節(jié)點(diǎn)對各個輸出節(jié)點(diǎn)的影響大小。本發(fā)明作為梯度可解釋性方法在圖神經(jīng)網(wǎng)絡(luò)上的一種改進(jìn)方法，擴(kuò)展了梯度可解釋性方法在圖神經(jīng)網(wǎng)絡(luò)上歸因分析的覆蓋范圍，提高了梯度可解釋性方法在圖神經(jīng)網(wǎng)絡(luò)上歸因分析的有效性。

技術(shù)領(lǐng)域

本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)可解釋性研究領(lǐng)域，尤其涉及一種使用梯度歸因分析方法解釋圖神經(jīng)網(wǎng)絡(luò)預(yù)測原因的領(lǐng)域。

背景技術(shù)

深度學(xué)習(xí)擁有強(qiáng)大的數(shù)據(jù)提取與函數(shù)擬合能力，加上其具有端到端訓(xùn)練的便利特性，進(jìn)而激起了人工智能發(fā)展的又一次浪潮。在深度學(xué)習(xí)領(lǐng)域，研究人員根據(jù)不同的使用場景設(shè)計(jì)了適合領(lǐng)域的神經(jīng)網(wǎng)絡(luò)架構(gòu)，如卷積神經(jīng)網(wǎng)絡(luò)常常用來處理圖像數(shù)據(jù)，循環(huán)神經(jīng)網(wǎng)絡(luò)時常用來處理時序數(shù)據(jù)，自編碼器生成網(wǎng)絡(luò)一般用來完成重構(gòu)任務(wù)。然而，由于神經(jīng)網(wǎng)絡(luò)眾多的訓(xùn)練參數(shù)和分布式表示的特性，導(dǎo)致人們難以對其預(yù)測結(jié)果做出合理的解釋，無法分析神經(jīng)網(wǎng)絡(luò)的決策依據(jù)。因此，神經(jīng)網(wǎng)絡(luò)的黑盒問題一直是阻礙人工智能發(fā)展的重大挑戰(zhàn)。

近年來，圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為一個熱門的研究課題，因?yàn)樗粌H繼承了深度學(xué)習(xí)從原始數(shù)據(jù)中自動提取特征的能力，而且可以直接處理圖結(jié)構(gòu)數(shù)據(jù)。圖結(jié)構(gòu)數(shù)據(jù)是許多現(xiàn)實(shí)應(yīng)用領(lǐng)域中常見的數(shù)據(jù)類型，如社交網(wǎng)絡(luò)，道路網(wǎng)絡(luò)和知識圖譜。相較于其它類型的數(shù)據(jù)，不同的圖結(jié)構(gòu)數(shù)據(jù)之間往往存在關(guān)聯(lián)，因此圖神經(jīng)網(wǎng)絡(luò)在設(shè)計(jì)時需要考慮到不同數(shù)據(jù)間的關(guān)系。與傳統(tǒng)的深度學(xué)習(xí)模型相似，圖神經(jīng)網(wǎng)絡(luò)也存在黑盒問題，同樣難以解釋其做出預(yù)測的潛在原因。

分析并解釋圖神經(jīng)網(wǎng)絡(luò)的預(yù)測原因是非常重要的。許多關(guān)鍵應(yīng)用，如醫(yī)療、法律和金融領(lǐng)域，犯錯的成本非常高。因此，模型需要具有一定的透明度，這樣一來，用戶可以理解模型是如何進(jìn)行預(yù)測的，領(lǐng)域?qū)＜乙部梢愿鶕?jù)分析結(jié)果調(diào)試和改進(jìn)模型。

截至目前，已有許多方法可以用來解釋傳統(tǒng)的深度學(xué)習(xí)模型，梯度歸因分析方法便是其中一個重要的分支。然而，現(xiàn)有的梯度歸因分析方法不能直接應(yīng)用于圖神經(jīng)網(wǎng)絡(luò)。因?yàn)閭鹘y(tǒng)的深度學(xué)習(xí)模型通常只進(jìn)行了特征信息的融合，而圖神經(jīng)網(wǎng)絡(luò)不僅進(jìn)行了特征信息融合，還進(jìn)行了鄰居節(jié)點(diǎn)信息的融合。現(xiàn)有的梯度歸因分析方法只考慮了特征信息融合的梯度傳遞情況，無法推斷多個節(jié)點(diǎn)各自對深度學(xué)習(xí)模型所做出預(yù)測的貢獻(xiàn)。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于梯度的圖神經(jīng)網(wǎng)絡(luò)可解釋性分析方法，該方法首度將梯度歸因分析方法用于解釋圖卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測原因中，并結(jié)合圖卷積網(wǎng)絡(luò)的結(jié)構(gòu)特性，一定程度上解決了現(xiàn)有梯度歸因分析方法應(yīng)用于圖卷積神經(jīng)網(wǎng)絡(luò)上的分析精度不高、覆蓋節(jié)點(diǎn)不全的問題。

技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

一種基于梯度的圖神經(jīng)網(wǎng)絡(luò)可解釋性分析方法，包括以下步驟：

步驟1)向訓(xùn)練好參數(shù)的圖神經(jīng)網(wǎng)絡(luò)輸入圖結(jié)構(gòu)數(shù)據(jù)；

步驟2)遞歸計(jì)算圖神經(jīng)網(wǎng)絡(luò)輸出與輸入之間所有前向傳播路徑的梯度；

步驟2.1)分別找到影響各個輸出節(jié)點(diǎn)的所有輸入節(jié)點(diǎn)；

步驟2.2)分別找到這些輸入節(jié)點(diǎn)到各個輸出節(jié)點(diǎn)的所有前向傳播路徑；

步驟2.3)分別遞歸計(jì)算每條前向傳播路徑中輸出節(jié)點(diǎn)與輸入節(jié)點(diǎn)間的梯度值；

步驟2.4)對于參與某一輸出節(jié)點(diǎn)計(jì)算過程的各個輸入節(jié)點(diǎn)，將其多個前向傳播路徑的梯度值分別求和，得到它們各自對這一輸出節(jié)點(diǎn)的總梯度值；

步驟3)根據(jù)梯度解釋各個輸入節(jié)點(diǎn)對各個輸出節(jié)點(diǎn)的影響大小；

步驟4)將各個輸入節(jié)點(diǎn)對各個輸出節(jié)點(diǎn)的影響大小進(jìn)行可視化展示與分析；