[發明專利]一種基于關系網絡的少樣本圖像分類方法

在審

• 申請號: 202110691161.X
• 申請日: 2021-06-22
• 公開（公告）號: CN113326892A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 劉洋;蔡登;張偉鋒;項超;鄭途
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 彭劍

1.一種基于關系網絡的少樣本圖像分類方法，其特征在于，包括以下步驟：

(1)構建深層神經網絡模型，使查詢圖像和支持圖像在進行前向推導時，得到局部特征集合表示；

(2)構建查詢圖像的局部特征集合q和支持圖像所有類的局部特征集合S的雙向附屬關系網絡；

(3)利用雙向附屬關系網絡的圖中心性計算查詢圖像和各支持圖像之間的關聯程度；

(4)訓練時，將少樣本訓練數據集劃分成多個少樣本圖像分類任務，對于每個少樣本分類任務中的查詢圖像和支持圖像集，重復步驟(2)-(3)，

根據與各個支持圖像的類別之間的關聯性計算少樣本圖像分類的概率，使用負對數似然函數作為損失函數進行深層神經網絡模型的參數訓練；

(5)測試時，對于每一個少樣本分類任務中的查詢圖像和支持圖像集，按照步驟(2)-(3)，計算查詢圖像集中的圖像分類成各個支持圖像所屬的類別的概率，選取概率最大的類作為圖像的分類預測。

2.根據權利要求1所述的基于關系網絡的少樣本圖像分類方法，其特征在于，步驟(1)的具體過程為：

使用預訓練的深層神經網絡模型提取查詢圖像輸入x的深層視覺特征θ∈R^C×H×W，將其轉化為圖像的局部特征的集合表示q＝{q₁，...，q_M}，其中，M＝H×W表示單個圖像的局部特征集的數量，q∈R^C表示其中一個局部特征符向量；

使用同一個深層神經網絡模型提取來自類c第k張支持圖像輸入的深層特征將所有來自同一類c的共K張支持圖像的局部特征使用取平均得到類的平均局部特征圖將其轉化為類的局部特征集合表示

3.根據權利要求2所述的基于關系網絡的少樣本圖像分類方法，其特征在于，步驟(2)的具體過程如下：

(2-1)首先構建支持圖像集中所有類的局部特征集合S：

其中，N是一個少樣本分類任務中所有類的數量；

(2-2)對于查詢圖像的任一局部特征q∈q，計算它到集合S中的每個局部特征的隨機游走概率函數：

其中，exp(·)表示指數函數，表示參數γ比例放大的兩個特征向量v₁，v₂之間的余弦相似度；

(2-3)將(2-2)中每個q∈q與每個s∈S之間的關系使用矩陣形式表示：

P_Sq＝Φ_γD^-1

其中，P_Sq的每一列對應從q中的一個局部特征到S中的每一個局部特征的隨機游走概率；Φ_γ中任一q和s的關系反映在[Φ_γ]_sq＝exp(φ_γ(s，q))里；D是一個對角矩陣，其中第j行第j列的元素等于Φ_γ中第j列的所有元素之和；

(2-4)對于支持圖像的任一局部特征s∈S，計算它到集合q中的每個局部特征的隨機游走概率函數：

其中，exp(·)表示指數函數，表示參數τ比例放大的兩個特征向量v₁，v₂之間的余弦相似度；

(2-5)將(2-4)中每個s∈S與每個q∈q之間的關系使用矩陣形式表示：

P_qS＝Φ_τW^-1

其中，P_qS的每一列對應從S中的一個局部特征到q中的每一個局部特征的隨機游走概率；Φ_τ中任一s和q的關系反映在[Φ_τ]_qs＝exp(φ_τ(s，q))里；W是一個對角矩陣，其中第j行第j列的元素等于Φ_τ中第j列的所有元素和；

(2-6)構建雙向附屬關系網絡，節點和節點間的連接矩陣可以表示為

其中，連接矩陣P的大小為(NM+M)×(NM+M)；局部特征集S中的節點與局部特征集S中的節點互相之間沒有連接，局部特征集q中的節點與局部特征集q中的節點互相之間沒有連接，使用零矩陣表示；局部特征集q中的節點連接到局部特征集S的有向連接邊上的權值反映在子矩陣P_Sq中，局部特征集S中的節點連接到局部特征集q的有向連接邊上的權值反映在子矩陣P_qS中。