[發(fā)明專(zhuān)利]一種基于多通道機(jī)制的圖池化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011513298.8
• 申請(qǐng)日: 2020-12-18
• 公開(kāi)（公告）號(hào): CN112508181A
• 公開(kāi)（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 杜金龍;王森章;張美越
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京航空航天大學(xué)
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于多通道機(jī)制的圖池化方法，包括：用GCN來(lái)學(xué)習(xí)到圖中節(jié)點(diǎn)的表示，而后采用三個(gè)通道來(lái)完成圖池化：通道一從圖局部拓?fù)淇紤]，在圖中采樣一些節(jié)點(diǎn)；通道二從圖整體拓?fù)涑霭l(fā)，用一個(gè)GNN模型將圖中節(jié)點(diǎn)分簇并將每個(gè)簇坍縮為一個(gè)節(jié)點(diǎn)，形成一個(gè)粗粒度圖；通道三考慮特征信息，首先用圖讀出操作得到一個(gè)圖表示，而后基于圖表示和節(jié)點(diǎn)表示來(lái)采樣節(jié)點(diǎn)。最后，在得到的粗粒度和細(xì)粒度圖間作通道間卷積，并將細(xì)粒度子圖合并，從而完成池化操作。本發(fā)明提出的方法第一次使用了多通道機(jī)制進(jìn)行圖池化操作，充分考慮了圖數(shù)據(jù)中豐富的特征及拓?fù)湫畔?，有助于學(xué)習(xí)到一個(gè)更好的圖表示，對(duì)于提升圖分類(lèi)相關(guān)任務(wù)的性能來(lái)說(shuō)具有重要意義。

技術(shù)領(lǐng)域

本發(fā)明給出一種基于多通道機(jī)制的圖池化方法，涉及圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域，主要用于圖數(shù)據(jù)的池化，通過(guò)與其他GNNs模型進(jìn)行整合，可以為圖數(shù)據(jù)學(xué)習(xí)到一個(gè)較好的表示向量，進(jìn)而用于圖數(shù)據(jù)的類(lèi)別預(yù)測(cè)，對(duì)于提升生物、化工、制藥等領(lǐng)域中的建模出的圖分類(lèi)任務(wù)的性能來(lái)說(shuō)具有重要意義。

背景技術(shù)

作為一類(lèi)主要用來(lái)描述對(duì)象及其之間復(fù)雜關(guān)系的通用數(shù)據(jù)表示方法，圖數(shù)據(jù)在許多領(lǐng)域都有著廣泛的應(yīng)用，在諸如社交網(wǎng)絡(luò)、電子商務(wù)、物聯(lián)網(wǎng)、生物制藥等應(yīng)用場(chǎng)景下，都可以找到圖數(shù)據(jù)的影子。鑒于深度學(xué)習(xí)在圖像、語(yǔ)音等相關(guān)任務(wù)上的優(yōu)秀表現(xiàn)，因此，將深度學(xué)習(xí)遷移到圖數(shù)據(jù)的處理與學(xué)習(xí)上來(lái)，是一種自然而然的想法。然而，傳統(tǒng)的深度學(xué)習(xí)模型一直無(wú)法較好地處理圖這種非歐式結(jié)構(gòu)的數(shù)據(jù)。

在這樣的背景下，圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks，GNNs)的出現(xiàn)很好地解決了上述技術(shù)問(wèn)題，實(shí)現(xiàn)了深度學(xué)習(xí)技術(shù)與圖數(shù)據(jù)的適配，使得深度學(xué)習(xí)能夠在用圖建模的應(yīng)用場(chǎng)景下得以應(yīng)用。但已有的研究大多都集中在拓展CNN中的卷積操作到圖數(shù)據(jù)上，即所謂的圖卷積操作，旨在為圖中每一個(gè)節(jié)點(diǎn)學(xué)習(xí)到一個(gè)表示向量。然而，在實(shí)際的一些應(yīng)用場(chǎng)景中，往往需要學(xué)習(xí)到整張圖的一個(gè)表示向量，這就需要用到圖池化操作，而針對(duì)圖池化操作的研究卻相對(duì)較少。池化是深度學(xué)習(xí)中一個(gè)非常重要的操作，在CNN中，通過(guò)池化操作，可以將大的特征變換為小的特征圖，實(shí)現(xiàn)原始數(shù)據(jù)高階特征的抽取，利用抽取到的高階特征來(lái)完成分類(lèi)等下游任務(wù)，可以減少模型的參數(shù)，防止過(guò)擬合。同樣地，在處理圖數(shù)據(jù)時(shí)，對(duì)于一種有效的池化操作也同樣有著迫切的需求。如果沒(méi)有池化方法，幾乎所有現(xiàn)存的GNN模型都缺乏學(xué)習(xí)到整張圖的嵌入表示的能力，這妨礙了GNN模型在圖分類(lèi)任務(wù)中的應(yīng)用。現(xiàn)有的池化方法主要分為三類(lèi)：第一類(lèi)是全局池化方法，這類(lèi)方法通過(guò)將圖中所有節(jié)點(diǎn)的表示進(jìn)行求和、求均值等操作來(lái)得到整個(gè)圖的表示，往往丟棄了圖數(shù)據(jù)中豐富的結(jié)構(gòu)信息；另一類(lèi)是基于Top-K的方法，如U-Nets、AttPool等，這類(lèi)方法的核心思想在于采用某種方式計(jì)算出圖中的每一個(gè)節(jié)點(diǎn)的重要性分?jǐn)?shù)，基于這個(gè)分?jǐn)?shù)值對(duì)節(jié)點(diǎn)進(jìn)行排序，并丟棄那些具有較低分?jǐn)?shù)的節(jié)點(diǎn)，從而完成池化操作。這類(lèi)方法考慮到了圖中節(jié)點(diǎn)特征及局部拓?fù)湫畔?，但缺乏?duì)于全局拓?fù)湫畔⒌目紤]；第三類(lèi)方法是基于坍縮的池化方法，如DiffPool等，此類(lèi)方法的基本思想是將圖劃分成不同的子圖，然后將每個(gè)子圖視為超級(jí)節(jié)點(diǎn)，從而形成一個(gè)坍縮的圖。這種方法更多地考慮到了圖的整體拓?fù)浣Y(jié)構(gòu)信息，對(duì)于圖的局部拓?fù)浣Y(jié)構(gòu)考慮較少。

綜上，現(xiàn)有的圖池化方法都從節(jié)點(diǎn)特征、局部拓?fù)浠蛉滞負(fù)溥@三部分信息中的部分信息出發(fā)來(lái)進(jìn)行池化操作，沒(méi)有同時(shí)從這三個(gè)方面進(jìn)行考慮，在池化過(guò)程中往往容易丟棄掉其它部分的重要信息。因此，現(xiàn)有的池化方法仍然具有一定的改進(jìn)空間。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足之處，提出一種基于多通道機(jī)制的圖池化方法，在池化過(guò)程中充分捕獲圖數(shù)據(jù)中豐富的拓?fù)浣Y(jié)構(gòu)及節(jié)點(diǎn)特征信息以減少判別信息的丟失，用于解決在背景技術(shù)方面提出的幾個(gè)缺陷問(wèn)題，并利用該模塊構(gòu)建一個(gè)端到端的圖表示學(xué)習(xí)模型。采用本發(fā)明公開(kāi)的方法，可以有效捕獲圖數(shù)據(jù)中豐富的拓?fù)浣Y(jié)構(gòu)及節(jié)點(diǎn)特征層面的信息，對(duì)圖數(shù)據(jù)進(jìn)行有效表示，提高圖類(lèi)別標(biāo)簽的預(yù)測(cè)準(zhǔn)確率。

技術(shù)方案：一種基于多通道機(jī)制的圖池化方法，具體步驟如下：

步驟一：圖數(shù)據(jù)建模及節(jié)點(diǎn)級(jí)表示學(xué)習(xí)