[發(fā)明專利]基于GCN的多標簽圖像分類方法、模型構(gòu)建方法及裝置

在審

• 申請?zhí)枺?/td>: 202210274122.4
• 申請日: 2022-03-20
• 公開（公告）號: CN114612681A
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計）人: 趙國英;任梅;彭進業(yè);李展;王琳;趙萬青;楊文靜
• 申請（專利權(quán)）人: 西北大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安恒泰知識產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 王芳

1.一種基于圖卷積網(wǎng)絡(luò)的多標簽圖像分類模型構(gòu)建裝置，其特征在于，包括預處理模塊、模型構(gòu)建模塊和訓練模塊；其中：

預處理模塊，用于對已知數(shù)據(jù)集進行預處理，得到預處理后的數(shù)據(jù)集圖像，并將其發(fā)送給訓練模塊；

訓練模塊，用于將預處理后的數(shù)據(jù)集圖像輸入多標簽圖像分類模型進行訓練，以多個標簽在圖像上出現(xiàn)的概率為輸出，得到訓練好的多標簽圖像分類模型；

模型構(gòu)建模塊，用于構(gòu)建多標簽圖像分類模型并將其發(fā)送給訓練模塊；該多標簽圖像分類模型包括依次相連接的圖像特征提取模塊、注意力機制模塊、特征向量轉(zhuǎn)換模塊、圖卷積網(wǎng)絡(luò)乘積模塊和輸出預測模塊：其中：

特征提取模塊，用于對預處理后的數(shù)據(jù)集圖像進行圖像特征提取，得到圖像的特征圖，并將特征圖發(fā)送給注意力機制模塊；

注意力機制模塊，用于對輸入的特征圖F進行注意力機制處理，得到新的特征圖f，然后將新的特征圖f發(fā)送給特征向量轉(zhuǎn)換模塊；

特征向量轉(zhuǎn)換模塊，用于將注意力機制模塊發(fā)來的新的特征圖f進行維度的轉(zhuǎn)換得到類別語義，并將其送入圖卷積網(wǎng)絡(luò)混合模塊；

圖卷積網(wǎng)絡(luò)乘積模塊，包含第一圖卷積網(wǎng)絡(luò)、第二圖卷積網(wǎng)絡(luò)和乘法器；所述第一圖卷積網(wǎng)絡(luò)的輸入端連接特征向量轉(zhuǎn)換模塊的輸出端，用于對特征向量模塊發(fā)來的類別語義o進行處理，獲取單張圖像標簽之間的相關(guān)性，并發(fā)送給乘法器；所述第二圖卷積網(wǎng)絡(luò)以數(shù)據(jù)集的標簽的先驗特征為輸入，得到標簽嵌入，并發(fā)送給乘法器；乘法器用于將第一圖卷積網(wǎng)絡(luò)和第二圖卷積網(wǎng)絡(luò)的輸出進行相乘，得到類別語義O＝{O₀,O₁,…O_C-1}，并將類別語義O送入輸出預測模塊；

輸出預測模塊，用于實現(xiàn)以下功能：將圖卷積網(wǎng)絡(luò)混合模塊發(fā)送來的類別語義O采用全連接網(wǎng)絡(luò)轉(zhuǎn)換成各個標簽相對應(yīng)的得分，從而得到所有標簽對應(yīng)的得分向量為s＝{s₀,s₁…,s_C-1}；然后通過sigmoid函數(shù)得到得分向量s對應(yīng)的概率向量p＝{p₀,p₁…,p_C-1}。

2.如權(quán)利要求1所述的基于圖卷積網(wǎng)絡(luò)的多標簽圖像分類模型構(gòu)建裝置，其特征在于，所述預處理包括對圖像進行翻轉(zhuǎn)、分割和尺寸統(tǒng)一。

3.如權(quán)利要求1所述的基于圖卷積網(wǎng)絡(luò)的多標簽圖像分類模型構(gòu)建裝置，其特征在于，所述特征提取模塊采用殘差網(wǎng)絡(luò)，并對殘差網(wǎng)絡(luò)輸出的數(shù)據(jù)采用池化操作進行處理，得到特征圖F。

4.如權(quán)利要求1所述的基于圖卷積網(wǎng)絡(luò)的多標簽圖像分類模型構(gòu)建裝置，其特征在于，所述注意力機制模塊包括通道注意力模塊、空間注意力模塊、兩個乘法器和加法器，其中，所述特征提取模塊輸出的特征圖F分別送入通道注意力模塊和空間注意力模塊，通道注意力模塊用于對特征提取模塊發(fā)來的特征圖F進行通道注意力特征圖的提取，得到通道注意力特征圖Mc；所述空間注意力模塊用于對特征提取模塊發(fā)來的特征圖F進行空間注意力特征圖的提取，得到空間注意力特征圖Ms；所述特征提取模塊輸出的特征圖F分別與通道注意力特征圖Mc和空間注意力特征圖Ms通過乘法器相乘，得到通道特征圖和空間特征圖，通道特征圖和空間特征圖分別輸出到加法器，加法器用于實現(xiàn)通道特征圖和空間特征圖的自適應(yīng)參數(shù)相加，得到新的特征圖f，并發(fā)送給特征向量轉(zhuǎn)換模塊。

5.如權(quán)利要求1所述的基于圖卷積網(wǎng)絡(luò)的多標簽圖像分類模型構(gòu)建裝置，其特征在于，通過注意力機制模塊中獲得新的特征圖f：

f＝γ(M_C*F)+(1-γ)(M_S*F)

M_C＝σ(MLP(Avgpool(F))

M_S＝σ(f^7*7(MaxPool(F))

式中，γ為自適應(yīng)參數(shù)，M_C為通道注意力特征圖，M_S為空間注意力特征圖，F(xiàn)為特征提取模塊發(fā)來的特征圖F，σ為激活函數(shù)，AvgPool、MxaPool分別代表平均池化和最大池化，f^7*7()是卷積核大小為7*7的卷積操作。