[發明專利]一種基于邊Transformer圖神經網絡的小樣本圖像分類方法及系統

有效

• 申請號: 202110657352.4
• 申請日: 2021-06-11
• 公開（公告）號: CN113378938B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 劉芳;張瀚;馬文萍;李玲玲;李鵬芳;楊苗苗;劉洋;劉旭
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

本發明公開了一種基于邊Transformer圖神經網絡的小樣本圖像分類方法及系統，引入transformer模型來對圖中的邊特征進行更新，通過將結點之間的差值特征圖拆分成特征塊序列輸入到transformer模塊得到更新后的邊特征，使得每一個像素位置會被分配不同的注意力權重以突出關鍵區域。本發明的思想是利用transformer中的自注意力機制來自動聚焦到用于衡量結點間相似性的關鍵區域，從而達到抑制背景信息并突出關鍵區域的目的。本發明在miniImageNet數據集上進行的對比實驗證明了本發明可以提高小樣本圖像分類的精度。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于邊Transformer圖神經網絡的小樣本圖像分類方法及系統。

背景技術

近年來，得益于計算機算力的飛速提升，深度學習成為了人工智能領域研究的熱門。然而深度學習繁榮發展的背后是大規模人工標注的數據集的支撐，并且越加復雜的網絡就越需要更加龐大的數據集來訓練。但是在一些特殊的領域數據是非常匱乏的，如醫學中罕見病例的判別，其現有的有限醫學圖像是遠遠不夠用于訓練一個良好的深度模型的。這時就希望模型可以減少對數據的依賴，像人類一樣可以進行快速的學習，那么將會大大減少數據的人工標注成本，基于此小樣本學習漸漸得到了許多研究者的關注。小樣本學習顧名思義就是在帶標注數據不充足的情況下進行的學習任務，一個優秀的小樣本學習模型通過一定量任務的訓練后，不需要進行額外的訓練就可以泛化到新的任務上。現有的小樣本學習方法大致可以分為基于度量學習、基于元學習、基于數據增強以及基于圖神經網絡四種。

現有的基于圖神經網絡的小樣本學習模型基于全局相似度來進行結點特征的聚合，這種方式會聚合許多背景信息進而引起語義上的歧義，為了解決這一問題，受transformer模型的啟發，本發明提出一種利用transformer感知關鍵區域的小樣本學習方法，拋棄了CNN轉而使用transformer編碼器來對GNN中的邊特征進行更新。動機來自于transformer模型結構中含有的自注意力層，使得模型天生具有感知關鍵區域的能力，所以本章的方法利用其中的自注意力機制來自動學習為不同的像素位置分配不同的注意力，進而在結點特征聚合的時候給予關鍵區域更多的關注。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，提供一種基于邊Transformer圖神經網絡的小樣本圖像分類方法及系統，通過利用transformer模型結構中含有的自注意力層，使得模型天生具有感知關鍵區域的能力，進而增強模型在小樣本圖像分類任務上的表現。

本發明采用以下技術方案：

一種基于邊Transformer圖神經網絡的小樣本圖像分類方法，包括以下步驟：

S1、采樣小樣本學習任務T；

S2、將步驟S1得到的小樣本學習任務T中的每一個樣本x_i送入構建的嵌入網絡F_emb中，得到每一個樣本的特征圖f_i；

S3、構建一個全連接圖G_T，將步驟S2中每一個樣本的特征圖f_i作為初始的結點特征并根據查詢樣本的標簽初始化邊特征

S4、將步驟S3構建的全連接圖G_T輸入到由L層邊Transformer圖神經網絡構成的ETGNN中迭代進行結點特征更新，利用Transformer圖神經網絡的邊transformer模塊進行邊特征更新，得到每一層的邊特征

S5、對步驟S4得到的L層的邊特征進行級聯，然后輸入到構建的邊特征融合網絡F_fus中，得到最終邊并根據最終邊以及支持樣本的類別y_j得到查詢結點v_i的類別概率分布