[發明專利]一種基于流形學習和高階圖神經網絡的小樣本圖像分類方法

在審

• 申請號: 202110441901.4
• 申請日: 2021-04-23
• 公開（公告）號: CN113052263A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 裴文江;田維維;夏亦犁
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 任志艷

本發明公開了一種基于流形學習和高階圖神經網絡的小樣本圖像分類方法，主要解決當前小樣本學習方法在未知類別的圖像分類任務上泛化性能差的問題。其主要分類過程是：首先利用卷積神經網絡對輸入圖像進行特征提取，其次構建一個嵌入傳播網絡，將特征提取得到的圖像特征映射到一組插值的特征嵌入，然后利用特征嵌入計算高階結構信息，之后特征傳播網絡對圖像特征進行處理，包括節點特征和邊特征的更新，歸一化，逐層計算流形損失，最后輸出未標記樣本的標簽，并且通過反向傳播對模型進行約束。本發明方法為小樣本圖像分類提供了一個新思路，通過構造嵌入傳播網絡和利用高階信息，緩解了分布偏移問題，提高了模型的泛化性能和分類性能。

技術領域

本發明涉及圖神經網絡與圖像處理的交叉領域，尤其是一種基于流形學習和高階圖神經網絡的小樣本圖像分類方法。

背景技術

為了從有限的樣本中學習，機器學習發展出了一個新的子領域，即小樣本學習(Few-Shot Learning,FSL)。實現了小樣本學習，就意味著有了“舉一反三”的學習能力。一旦某些類別已經被模型學習到，那么在這個學習過程中的有用信息就會被抽象出來，使得該模型對其他類別的學習更有效。FSL可以通過結合先驗信息從少量樣本中學習新的任務。小樣本學習之所以備受關注，原因在于：首先，現實世界中事物的數量是符合長尾分布的，大部分事物的數量是很少的。另外，人類學習一個概念時，并不需要百萬或千萬級的數據。因此，小樣本學習成為了神經網絡和圖像處理領域的研究熱點。

圖神經網絡(Graph Neural Network,GNN)將每一個樣本當做圖中的一個節點，樣本之間的關系作為圖中的邊。該模型不僅學習每個節點的嵌入向量，還學習每條邊的嵌入向量。先利用卷積神經網絡將所有樣本嵌入到向量空間中，再將樣本向量與標簽連接后輸入圖神經網絡，構建每個節點之間的邊，之后通過圖卷積更新節點向量，最后通過節點向量不斷更新邊的向量，這就構成了一個深度的圖神經網絡。GNN通過消息傳遞迭代地執行來自鄰居的特性聚合，因此可以表示數據實例之間的復雜交互。由于小樣本學習算法需要充分利用支持集和查詢之間的關系，使用GNN很自然地有能力來解決小樣本學習問題。

發明內容

技術問題：提出一種基于流形學習和高階圖神經網絡的小樣本圖像分類方法，可提高圖像分類的精確度，增強模型的泛化能力。

技術方案：本發明公開了一種基于流形學習和高階圖神經網絡的小樣本圖像分類方法，包括以下步驟：

步驟1，獲得圖像數據集作為訓練和驗證圖神經網絡的數據，將圖像數據集中每類樣本都分為訓練集和測試集；每類樣本中訓練集和測試集的比例為4:1，對訓練集中的部分圖像進行標記，將訓練集分為帶標記樣本和未標記樣本；

步驟2，將訓練集中的數據輸入特征提取網絡，得到圖像特征向量，特征提取網絡采用卷積神經網絡；

步驟3，將特征提取網絡得到的圖像特征向量輸入嵌入傳播網絡，映射得到一組插值的特征，稱之為嵌入特征；

步驟4，將嵌入特征作為基準特征，并計算邊特征和高階特征，將基準特征、邊特征和高階特征作為特征傳播網絡的初始特征；

步驟5，在特征傳播網絡的每一層，交替更新節點特征和邊特征，所述節點特征是指基準特征和高階特征，采用這種迭代的特征傳播方法使得圖神經網絡可以根據自身結構特性更新部分參數，將帶標記樣本的信息傳播到未標記樣本；

步驟6，輸出層是使用softmax函數的全連接層，將學習到的特征表示映射到樣本的標記空間，輸出模型對輸入圖片的預測標簽；