[發(fā)明專利]一種基于關(guān)鍵局部信息的圖像檢索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310329312.6
• 申請(qǐng)日: 2023-03-30
• 公開(kāi)（公告）號(hào): CN116467476A
• 公開(kāi)（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 陳凱;王紫騰;李知栩;王杰瑞;張桐林
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06F16/532
• 分類號(hào): G06F16/532;G06F16/583;G06F16/55;G06N3/0464;G06N3/048;G06N3/09
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 蘇一幟

1.一種基于關(guān)鍵局部信息的圖像檢索方法，其特征在于，包括：

S1、對(duì)原始圖像進(jìn)行預(yù)處理，獲取對(duì)應(yīng)關(guān)鍵內(nèi)容區(qū)域的關(guān)鍵內(nèi)容特征；

S2、接收用戶上傳的待查詢圖像，并提取待查詢圖像的圖像特征；

S3、利用數(shù)據(jù)圖庫(kù)中各原始圖像的全局特征和關(guān)鍵內(nèi)容特征，對(duì)所述待查詢圖像進(jìn)行相似度檢索。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在S1中，所述預(yù)處理包括：

S11、提取原始圖像的卷積特征，并形成卷積特征圖；

S12、對(duì)所得到的卷積特征圖進(jìn)行聚類，得到聚類特征圖；

S13、根據(jù)所述聚類特征圖生成關(guān)鍵內(nèi)容區(qū)域；

S14、對(duì)所述原始圖像和關(guān)鍵內(nèi)容區(qū)域分別進(jìn)行特征提取，得到所述原始圖像和關(guān)鍵內(nèi)容區(qū)域各自的特征向量。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在S11中，所述提取原始圖像的卷積特征并形成卷積特征圖包括：

調(diào)整所述原始圖像最短邊尺寸至預(yù)設(shè)值；

通過(guò)深度殘差網(wǎng)絡(luò)提取得到特征圖，其中，所述深度殘差網(wǎng)絡(luò)中加入特征修正模塊；

通過(guò)所述特征修正模塊，獲取給定的中間特征圖的注意力權(quán)重，將所獲取的注意力權(quán)重與所述給定的中間特征圖相乘，得到帶有注意力的特征圖，其中，所述給定的中間特征圖由所述深度殘差網(wǎng)絡(luò)中的殘差模塊輸出。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述特征修正模塊包括：空間自注意力模塊M_self、通道注意力模塊M_channel和空間注意力模塊M_spatial；

其中，F(xiàn)表示給定的中間特征圖，F(xiàn)'表示空間自注意力修正特征，F(xiàn)”表示通道注意力修正特征，F(xiàn)”'表示空間注意力修正特征，算符表示按元素相乘；

所述通過(guò)特征修正模塊，從給定的中間特征圖得到注意力權(quán)重，包括：

在所述空間自注意力模塊中，將所述給定的中間特征圖經(jīng)過(guò)1×1卷積操作降維得到1×H×W的特征張量，然后經(jīng)過(guò)Sigmoid激勵(lì)函數(shù)將特征值轉(zhuǎn)換到[0,1]區(qū)間，再利用SoftMax函數(shù)獲得空間自注意力權(quán)重M_self，通過(guò)將空間自注意力權(quán)重和輸入特征逐元素相乘獲得空間自注意力修正特征，其中，H表示圖片的高度尺寸，W表示圖片的寬度尺寸。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述通過(guò)特征修正模塊，從給定的中間特征圖得到注意力權(quán)重，還包括：

通過(guò)所述通道注意力模塊，分別按照空間最大池化和平均池化處理所述空間自注意力修正特征，得到兩個(gè)維度為C×1×1的特征張量，C表示通道數(shù)；

之后將所得到的兩個(gè)維度為C×1×1的特征張量經(jīng)過(guò)共享的C個(gè)1×1網(wǎng)絡(luò)，映射成兩個(gè)維度為C×1×1的新的特征張量，將得到的兩個(gè)新的特征張量逐元素相加后，經(jīng)過(guò)SoftMax激活函數(shù)輸出為一個(gè)維度為C×1×1的通道注意力權(quán)重M_channel；

將通道注意力權(quán)重和輸入的空間自注意力修正特征逐元素相乘，獲得通道注意力修正特征。

6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述通過(guò)特征修正模塊，從給定的中間特征圖得到注意力權(quán)重，還包括：通過(guò)所述空間注意力模塊，分別按照通道最大池化和平均池化處理所述通道注意力修正特征，得到兩個(gè)維度為1×H×W的特征張量，之后將所得到的兩個(gè)維度為1×H×W的特征張量合并形成維度為2×H×W的特征張量，其中，H表示圖片的高度尺寸，W表示圖片的寬度尺寸；

通過(guò)一層卷積層，將所得到的維度為2×H×W的特征張量維度轉(zhuǎn)化為1×H×W，并作為空間注意力權(quán)重，之后將空間注意力權(quán)重和輸入的通道注意力修正特征逐元素相乘獲得空間注意力修正特征。