[發明專利]一種知識圖譜在零次學習上的運用方法

有效

• 申請號: 202010056662.6
• 申請日: 2020-01-18
• 公開（公告）號: CN111291193B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 姜明;劉志勇;張旻;湯景凡
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種知識圖譜在零次學習上的運用方法，其特征在于，按照如下步驟進行：

步驟(1)利用ResNet深度卷積神經網絡模型訓練得到圖像的視覺特征；

步驟(2)利用wordnet知識圖譜構建類別之間的關系圖；

步驟(3)根據節點之間的距離計算其權重關系；

步驟(4)利用GraphSAGE算法對關系圖中的節點進行優化；

步驟(5)利用圖卷積神經網絡將優化后類節點的語義特征映射到與視覺特征相同的維度空間；

步驟(6)尋找與視覺特征歐式距離最近的類別，并將其作為判斷的類別；

其中步驟(2)具體為：

利用wordnet知識圖譜構建零次學習中類別之間的關系圖，類別之間有祖先和后代關系之分，根據這些關系構建了類別之間的祖先關系圖和后代關系圖

進一步的，步驟(3)具體為：

使用表示祖先傳播階段的學習權重，表示后代傳播階段的學習權重；和對應于所給定節點距離為i的節點的權重；其中表示自環，表示對應于所給定節點距離大于K-1的所有節點的權重；取K＝3，對這些權重關系使用softmax函數做歸一化處理，公式如下：

其中，為祖先關系圖中的權重系數，為后代關系圖中的權重系數；

進一步的，步驟(4)具體為：利用GraphSAGE算法對關系圖中的節點進行優化，算法的輸入為通過步驟(2)獲得的祖先關系圖后代關系圖祖先關系圖和后代關系圖中包括所有類節點x_v，的特征，類節點的初始特征為詞向量特征；GraphSAGE算法有兩層循環，最外層循環為m＝1…M,其中M表示外循環中的當前步驟，也可以表示為搜索的深度；內層的循環表示對關系圖中每個節點；

算法外層循環的每個步驟表示如下：首先，每個節點將其相鄰節點的特征表示通過聚合函數AGGREGATE_m,聚合到一起，生成向量由于有祖先關系圖和后代關系圖兩種關系圖，所以節點v要在這兩種圖上都做處理；其中表示節點v在祖先關系圖上的鄰居，同理，表示節點v在后代關系圖上的鄰居；h^m表示節點在當前步驟的特征表示；聚合步驟取決于外循環先前一次迭代m-1生成的特征表示；完成聚合操作后，將節點當前的特征表示與聚合后的向量拼接起來，σ表示Relu激活函數；每個節點的初始特征用來表示，m＝1時，當完成一次內循環之后，就可以得到特征向量中包含了其所有相鄰節點的特征表示；同理，通過外循環，m值不斷增大，直到最大搜索深度，會不斷迭代生成特征向量中包含了搜索深度為m的相鄰節點的特征表示；最后獲得融合了各個相鄰節點信息的輸出z_v；

進一步的，步驟(5)具體為：將步驟(4)優化后的祖先關系圖與后代關系圖利用圖卷積神經網絡將類別的語義特征映射到與視覺特征相同的維度空間；可以用下面的公式來表示：

其中和分別表示經過步驟(4)優化后的祖先關系圖和后代關系圖中節點之間連接距離為k的鄰接矩陣，的轉置為和是和的度矩陣；和就是步驟(3)中計算得到的權重系數；θ_a和θ_d為需要被學習的參數，σ是Relu激活函數；X是表示網絡每一層對應的特征，最初的輸入為經過步驟(4)優化后的節點特征；通過計算得到的語義特征與視覺特征處在相同的維度空間。

2.根據權利要求1所述的一種知識圖譜在零次學習上的運用方法，其特征在于，進一步的，步驟(6)具體為：將所有類別的語義特征通過步驟(5)映射到與圖片視覺特征相同的維度空間后，計算各個類別映射后的語義特征與圖片視覺特征之間的歐式距離，選擇歐式距離最近的類別，作為判斷其所屬的類別。

3.根據權利要求1所述的一種知識圖譜在零次學習上的運用方法，其特征在于，步驟(4)中所述的聚合函數可以為平均聚合、LSTM聚合或池化聚合。