[發(fā)明專利]一種知識(shí)圖譜在零次學(xué)習(xí)上的運(yùn)用方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010056662.6
• 申請(qǐng)日: 2020-01-18
• 公開（公告）號(hào): CN111291193B
• 公開（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 姜明;劉志勇;張旻;湯景凡
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明提供一種知識(shí)圖譜在零次學(xué)習(xí)上的運(yùn)用方法。本發(fā)明首先利用ResNet深度卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到圖像的視覺特征；然后利用wordnet知識(shí)圖譜構(gòu)建類別之間的關(guān)系圖；再根據(jù)節(jié)點(diǎn)之間的距離計(jì)算其權(quán)重關(guān)系；然后利用GraphSAGE算法對(duì)關(guān)系圖中的節(jié)點(diǎn)進(jìn)行優(yōu)化；之后利用圖卷積神經(jīng)網(wǎng)絡(luò)將優(yōu)化后類節(jié)點(diǎn)的語(yǔ)義特征映射到與視覺特征相同的維度空間；最后尋找與視覺特征歐式距離最近的類別，并將其作為判斷的類別。本發(fā)明在零次學(xué)習(xí)任務(wù)中使用了知識(shí)圖譜，構(gòu)建類別之間的關(guān)系圖,增加了更多的先驗(yàn)知識(shí)，利用了類別之間的聯(lián)系，引入了GraphSAGE算法，可以對(duì)構(gòu)建好的關(guān)系圖中的節(jié)點(diǎn)進(jìn)行優(yōu)化，使得對(duì)節(jié)點(diǎn)的描述更完善。最后的分類結(jié)果也有更好的表現(xiàn)。

技術(shù)領(lǐng)域

本發(fā)明屬于零次學(xué)習(xí)技術(shù)領(lǐng)域，本發(fā)明在零次學(xué)習(xí)任務(wù)上使用了知識(shí)圖譜和GraphSAGE算法。

背景技術(shù)

在零次學(xué)習(xí)中，會(huì)給出每個(gè)類別及其所對(duì)應(yīng)的語(yǔ)義特征，這里的語(yǔ)義特征包括類別的屬性，比如描述這些類的大小，顏色等等，也可以是這些類別對(duì)應(yīng)的詞向量。不過這些語(yǔ)義特征只是單獨(dú)的一個(gè)一個(gè)，沒有很好的將這些類聯(lián)系起來(lái)，不能很直觀的將這些類別之間聯(lián)系的“親密”程度表現(xiàn)出來(lái)。而知識(shí)圖譜正好具備了整合知識(shí)，使知識(shí)連接起來(lái)的能力。另外由于GraphSAGE算法可以迭代的學(xué)習(xí)聚合鄰居節(jié)點(diǎn)信息，所以利用GraphSAGE可以起到優(yōu)化關(guān)系圖中節(jié)點(diǎn)類的作用，使節(jié)點(diǎn)表示包含更多信息。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種知識(shí)圖譜在零次學(xué)習(xí)上的運(yùn)用方法。本發(fā)明為了利用類別之間的關(guān)系，引入知識(shí)圖譜，構(gòu)建了關(guān)系圖，使得其擁有更多的先驗(yàn)知識(shí)，并利用GraphSAGE算法來(lái)優(yōu)化關(guān)系圖中的節(jié)點(diǎn)信息。

為實(shí)現(xiàn)以上的技術(shù)目的，本發(fā)明將采取以下的技術(shù)方案：

一種知識(shí)圖譜在零次學(xué)習(xí)上的運(yùn)用方法，按照如下步驟進(jìn)行：

步驟(1)利用ResNet深度卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到圖像的視覺特征；

步驟(2)利用wordnet知識(shí)圖譜構(gòu)建類別之間的關(guān)系圖；

步驟(3)根據(jù)節(jié)點(diǎn)之間的距離計(jì)算其權(quán)重關(guān)系；

步驟(4)利用GraphSAGE算法對(duì)關(guān)系圖中的節(jié)點(diǎn)進(jìn)行優(yōu)化；

步驟(5)利用圖卷積神經(jīng)網(wǎng)絡(luò)將優(yōu)化后類節(jié)點(diǎn)的語(yǔ)義特征映射到與視覺特征相同的維度空間；

步驟(6)尋找與視覺特征歐式距離最近的類別，并將其作為判斷的類別。

其中步驟(2)具體為：

利用wordnet知識(shí)圖譜構(gòu)建零次學(xué)習(xí)中類別之間的關(guān)系圖，類別之間有祖先和后代關(guān)系之分，根據(jù)這些關(guān)系構(gòu)建了類別之間的祖先關(guān)系圖和后代關(guān)系圖

進(jìn)一步的，步驟(3)具體為：

使用表示祖先傳播階段的學(xué)習(xí)權(quán)重，表示后代傳播階段的學(xué)習(xí)權(quán)重。和對(duì)應(yīng)于所給定節(jié)點(diǎn)距離為i的節(jié)點(diǎn)的權(quán)重。其中表示自環(huán)，表示對(duì)應(yīng)于所給定節(jié)點(diǎn)距離大于K-1的所有節(jié)點(diǎn)的權(quán)重。取K＝3，對(duì)這些權(quán)重關(guān)系使用softmax函數(shù)做歸一化處理，公式如下：

其中，為祖先關(guān)系圖中的權(quán)重系數(shù)，為后代關(guān)系圖中的權(quán)重系數(shù)

進(jìn)一步的，步驟(4)具體為：利用GraphSAGE算法對(duì)關(guān)系圖中的節(jié)點(diǎn)進(jìn)行優(yōu)化，算法的輸入為通過步驟(1)獲得的祖先關(guān)系圖后代關(guān)系圖祖先關(guān)系圖和后代關(guān)系圖中包括所有類節(jié)點(diǎn)x_v，的特征，類節(jié)點(diǎn)的初始特征為詞向量特征。GraphSAGE算法有兩層循環(huán)，最外層循環(huán)為m＝1…M,其中M表示外循環(huán)中的當(dāng)前步驟，也可以表示為搜索的深度。內(nèi)層的循環(huán)表示對(duì)關(guān)系圖中每個(gè)節(jié)點(diǎn)。