[發(fā)明專利]一種知識圖譜在零次學(xué)習(xí)上的運(yùn)用方法

有效

• 申請?zhí)枺?/td>: 202010056662.6
• 申請日: 2020-01-18
• 公開（公告）號: CN111291193B
• 公開（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 姜明;劉志勇;張旻;湯景凡
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種知識圖譜在零次學(xué)習(xí)上的運(yùn)用方法，其特征在于，按照如下步驟進(jìn)行：

步驟(1)利用ResNet深度卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到圖像的視覺特征；

步驟(2)利用wordnet知識圖譜構(gòu)建類別之間的關(guān)系圖；

步驟(3)根據(jù)節(jié)點(diǎn)之間的距離計(jì)算其權(quán)重關(guān)系；

步驟(4)利用GraphSAGE算法對關(guān)系圖中的節(jié)點(diǎn)進(jìn)行優(yōu)化；

步驟(5)利用圖卷積神經(jīng)網(wǎng)絡(luò)將優(yōu)化后類節(jié)點(diǎn)的語義特征映射到與視覺特征相同的維度空間；

步驟(6)尋找與視覺特征歐式距離最近的類別，并將其作為判斷的類別；

其中步驟(2)具體為：

利用wordnet知識圖譜構(gòu)建零次學(xué)習(xí)中類別之間的關(guān)系圖，類別之間有祖先和后代關(guān)系之分，根據(jù)這些關(guān)系構(gòu)建了類別之間的祖先關(guān)系圖和后代關(guān)系圖

進(jìn)一步的，步驟(3)具體為：

使用表示祖先傳播階段的學(xué)習(xí)權(quán)重，表示后代傳播階段的學(xué)習(xí)權(quán)重；和對應(yīng)于所給定節(jié)點(diǎn)距離為i的節(jié)點(diǎn)的權(quán)重；其中表示自環(huán)，表示對應(yīng)于所給定節(jié)點(diǎn)距離大于K-1的所有節(jié)點(diǎn)的權(quán)重；取K＝3，對這些權(quán)重關(guān)系使用softmax函數(shù)做歸一化處理，公式如下：

其中，為祖先關(guān)系圖中的權(quán)重系數(shù)，為后代關(guān)系圖中的權(quán)重系數(shù)；

進(jìn)一步的，步驟(4)具體為：利用GraphSAGE算法對關(guān)系圖中的節(jié)點(diǎn)進(jìn)行優(yōu)化，算法的輸入為通過步驟(2)獲得的祖先關(guān)系圖后代關(guān)系圖祖先關(guān)系圖和后代關(guān)系圖中包括所有類節(jié)點(diǎn)x_v，的特征，類節(jié)點(diǎn)的初始特征為詞向量特征；GraphSAGE算法有兩層循環(huán)，最外層循環(huán)為m＝1…M,其中M表示外循環(huán)中的當(dāng)前步驟，也可以表示為搜索的深度；內(nèi)層的循環(huán)表示對關(guān)系圖中每個節(jié)點(diǎn)；

算法外層循環(huán)的每個步驟表示如下：首先，每個節(jié)點(diǎn)將其相鄰節(jié)點(diǎn)的特征表示通過聚合函數(shù)AGGREGATE_m,聚合到一起，生成向量由于有祖先關(guān)系圖和后代關(guān)系圖兩種關(guān)系圖，所以節(jié)點(diǎn)v要在這兩種圖上都做處理；其中表示節(jié)點(diǎn)v在祖先關(guān)系圖上的鄰居，同理，表示節(jié)點(diǎn)v在后代關(guān)系圖上的鄰居；h^m表示節(jié)點(diǎn)在當(dāng)前步驟的特征表示；聚合步驟取決于外循環(huán)先前一次迭代m-1生成的特征表示；完成聚合操作后，將節(jié)點(diǎn)當(dāng)前的特征表示與聚合后的向量拼接起來，σ表示Relu激活函數(shù)；每個節(jié)點(diǎn)的初始特征用來表示，m＝1時，當(dāng)完成一次內(nèi)循環(huán)之后，就可以得到特征向量中包含了其所有相鄰節(jié)點(diǎn)的特征表示；同理，通過外循環(huán)，m值不斷增大，直到最大搜索深度，會不斷迭代生成特征向量中包含了搜索深度為m的相鄰節(jié)點(diǎn)的特征表示；最后獲得融合了各個相鄰節(jié)點(diǎn)信息的輸出z_v；

進(jìn)一步的，步驟(5)具體為：將步驟(4)優(yōu)化后的祖先關(guān)系圖與后代關(guān)系圖利用圖卷積神經(jīng)網(wǎng)絡(luò)將類別的語義特征映射到與視覺特征相同的維度空間；可以用下面的公式來表示：

其中和分別表示經(jīng)過步驟(4)優(yōu)化后的祖先關(guān)系圖和后代關(guān)系圖中節(jié)點(diǎn)之間連接距離為k的鄰接矩陣，的轉(zhuǎn)置為和是和的度矩陣；和就是步驟(3)中計(jì)算得到的權(quán)重系數(shù)；θ_a和θ_d為需要被學(xué)習(xí)的參數(shù)，σ是Relu激活函數(shù)；X是表示網(wǎng)絡(luò)每一層對應(yīng)的特征，最初的輸入為經(jīng)過步驟(4)優(yōu)化后的節(jié)點(diǎn)特征；通過計(jì)算得到的語義特征與視覺特征處在相同的維度空間。

2.根據(jù)權(quán)利要求1所述的一種知識圖譜在零次學(xué)習(xí)上的運(yùn)用方法，其特征在于，進(jìn)一步的，步驟(6)具體為：將所有類別的語義特征通過步驟(5)映射到與圖片視覺特征相同的維度空間后，計(jì)算各個類別映射后的語義特征與圖片視覺特征之間的歐式距離，選擇歐式距離最近的類別，作為判斷其所屬的類別。

3.根據(jù)權(quán)利要求1所述的一種知識圖譜在零次學(xué)習(xí)上的運(yùn)用方法，其特征在于，步驟(4)中所述的聚合函數(shù)可以為平均聚合、LSTM聚合或池化聚合。