[發明專利]一種基于層次化特征互補的圖像哈希檢索方法

有效

• 申請號: 202010789986.0
• 申請日: 2020-08-07
• 公開（公告）號: CN112084362B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 劉慶杰;馬田瑤;許杰浩;王蘊紅
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06V10/80;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京航智知識產權代理事務所(普通合伙) 11668
• 代理人: 黃川;史繼穎

1.一種基于層次化特征互補的圖像哈希檢索方法，其特征在于，包括如下步驟：

S1：將待檢索圖像輸入到用于提取特征的卷積神經網絡中；

S2：截取所述卷積神經網絡的中間層生成的特征圖作為低層特征圖L，將所述低層特征圖L輸入空間注意力模塊中，所述空間注意力模塊將上下文信息聚合到低層特征圖L中，得到特征圖L₁；

S3：將所述低層特征圖L輸入通道注意力模塊中，所述通道注意力模塊對所述低層特征圖L各個通道之間的語義依賴進行建模，得到特征圖L₂；

S4：將得到的特征圖L₁和特征圖L₂相加得到特征圖L₃，全連接哈希層對特征圖L₃進行編碼，生成長度為l₁的低層哈希碼；

S5：將所述卷積神經網絡的最后一層生成的特征圖作為高層特征圖K，分別使用多個不同大小的卷積核對高層特征圖K進行卷積操作，生成多個不同尺度的特征圖；

S6：利用多尺度特征融合模塊對生成的多個不同尺度的特征圖分別進行逐點卷積，將每一個特征圖的通道數降為高層特征圖K通道數的1/4；

S7：使用雙線性插值方式對經過逐點卷積后的各個特征圖進行上采樣，將每一個特征圖還原為與高層特征圖K相同的尺度，將各個還原后的特征圖以及高層特征圖K進行通道方向的拼接融合，融合后的特征圖包含不同子區域之間不同尺度的信息，實現局部信息和全局信息的融合；

S8：對融合后的特征圖使用全連接哈希層編碼，生成長度為l₂的高層哈希碼；

S9：將所述低層哈希碼和所述高層哈希碼進行拼接，得到長度為l₁+l₂的哈希碼用于圖像檢索。

2.如權利要求1所述的基于層次化特征互補的圖像哈希檢索方法，其特征在于，步驟S2，截取所述卷積神經網絡的中間層生成的特征圖作為低層特征圖L，將所述低層特征圖L輸入空間注意力模塊中，所述空間注意力模塊將上下文信息聚合到低層特征圖L中，得到特征圖L₁，具體包括：

給定一個低層特征圖L∈R^C×H×W，使用兩個不同的卷積層對低層特征圖L進行卷積操作，生成特征圖Y和特征圖Z，其中，{Y，Z}∈R^C×H×W，其中，C表示特征圖的通道數，H表示特征圖的高，W表示特征圖的寬；把特征圖Y和特征圖Z的維度調整為C×N，調整后得到{Y′，Z′}∈R^C×N，其中，N＝H×W，表示特征圖中一個通道上像素的總量；將特征圖Z′的轉置與Y′相乘，使用softmax函數作為激活函數，得到空間特征關系圖S∈R^N×N：

其中，S_ij表示空間特征關系圖S在第i行、第j列的值，代表在特征圖Y和特征圖Z中對應局部特征之間的關系，S_ij越大，代表兩個局部特征的相似性和相關性越大，i＝1，2，...，N，j＝1，2，...，N；表示特征圖Z′的轉置中的第i行元素，Y_j′表示特征圖Y′中的第j列元素；獲得空間特征關系圖S后，使用均值池化層和卷積層挖掘低層特征圖L在每一個空間位置上的相對權重；獲得相對權重后，對低層特征圖L重新賦予權重，完成空間維度上的重標定，加權公式如下：

L₁＝conv(avg(S))·L (2)

其中，avg表示均值池化層，conv表示以sigmoid為激活函數的卷積層；式(2)對低層特征圖L的空間位置進行加權，在空間維度上對低層特征圖L的關鍵信息進行增強，得到特征圖L₁。

3.如權利要求2所述的基于層次化特征互補的圖像哈希檢索方法，其特征在于，步驟S3，將所述低層特征圖L輸入通道注意力模塊中，所述通道注意力模塊對所述低層特征圖L各個通道之間的語義依賴進行建模，得到特征圖L₂，具體包括：

將低層特征圖L的維度調整為C×N，得到特征圖L′∈R^C×N，將特征圖L′與特征圖L′的轉置相乘，使用softmax作為激活函數，得到通道特征關系圖G∈R^C×C：

其中，G_mn表示通道特征關系圖G在第m行、第n列的值，m＝1，2，...，C，n＝1，2，...，C；L′_m表示特征圖L′中的第m行元素，表示特征圖L′的轉置中的第n列元素；獲得通道特征關系圖G后，使用均值池化層和全連接哈希層挖掘低層特征圖L在每一個通道上的相對權重；獲得相對權重后，對低層特征圖L重新賦予權重，完成空間維度上的重標定，加權公式如下：

L₂＝mlp(avg(G))·L (4)

其中，mlp表示以sigmoid為激活函數的多層感知器；式(4)對低層特征圖L的通道進行加權，在通道維度上對低層特征圖L的關鍵信息進行增強，得到特征圖L₂。