[發明專利]基于圖注意力網絡的多標簽圖像識別方法

有效

• 申請號: 202110316665.3
• 申請日: 2021-03-19
• 公開（公告）號: CN112906720B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 班曉曉;申偉昊;韓錦恒;向順;許乾劍;張記龍;郭世杰;王元全
• 申請（專利權）人: 河北工業大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰;張國榮

1.一種基于圖注意力網絡的多標簽圖像識別方法，其特征在于，該方法包括以下步驟：

第一步，待識別的多標簽圖像經過卷積神經網絡輸入層的預處理后進入到卷積神經網絡中，利用全局共現特征提取模塊提取共現特征矩陣X；全局共現特征提取模塊包括壓縮和擴充兩個過程；

設全局共現特征提取模塊的初始輸入為大小為h×w×c的3D張量，h代表空間高度，w代表空間寬度，c為通道數；全局共現特征提取模塊的初始輸入經過卷積操作，得到矩陣N；設N^T為矩陣N的轉置矩陣，常量q＝h×w，I是大小為q×q的單位矩陣，J是大小為q×q的全1矩陣，變換矩陣利用式(1)計算協方差矩陣K；

對協方差矩陣K進行標準化，得到標準化后的協方差矩陣K′，至此完成全局共現特征提取模塊的壓縮過程；

將標準化后的協方差矩陣K′進行組卷積操作，得到矩陣R，矩陣R經過卷積操作得到權重向量；

然后將全局共現特征提取模塊的初始輸入與權重向量每個通道對應的元素相乘，得到變換后的3D張量；變換后的3D張量經過最大池化操作，得到共現特征矩陣X，至此完成全局共現特征提取模塊的擴充過程；

第二步，利用待識別的多標簽圖像的標簽節點之間的條件概率，構建標簽節點之間的鄰接矩陣A；

第三步，將鄰接矩陣A作為圖注意力網絡的輸入，經過圖注意力網絡學習得到矩陣A′；

第四步，按照式(7)將第一步得到的共現特征矩陣X與第三步得到的矩陣A′進行線性相乘，得到預測值即識別結果；

通過上述第一步至第四步完成多標簽圖像的識別。

2.根據權利要求1所述的基于圖注意力網絡的多標簽圖像識別方法，其特征在于，卷積神經網絡為ResNet殘差網絡，ResNet殘差網絡包含layer1～layer4四個殘差模塊；每個殘差模塊之后嵌入全局共現特征提取模塊或者選擇性地在相應殘差模塊之后嵌入全局共現特征提取模塊；在layer4殘差模塊之后嵌入全局共現特征提取模塊的識別效果優于在其他殘差模塊之后嵌入全局共現特征提取模塊的識別效果。

3.根據權利要求2所述的基于圖注意力網絡的多標簽圖像識別方法，其特征在于，ResNet殘差網絡輸入層包括卷積核大小為7×7、通道數為64、步長為2的卷積操作和卷積核大小為3×3，步長為2的最大池化操作。

4.根據權利要求2或3所述的基于圖注意力網絡的多標簽圖像識別方法，其特征在于，ResNet殘差網絡的layer4殘差模塊的輸出經過卷積核大小為14×14，步長為1的最大池化操作，得到大小為d×1的共現特征矩陣X，d為特征嵌入的維度。