[發明專利]基于注意力機制圖卷積神經網絡的圖像檢索方法

在審

• 申請號: 202011060588.1
• 申請日: 2020-09-30
• 公開（公告）號: CN112036511A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 錢久超;王浩宇;朱肖光;陽展韜;程宇豪;邵華青;劉佩林;張凱淵
• 申請（專利權）人: 上海美迪索科電子科技有限公司;上海交通大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/20
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.基于注意力機制圖卷積神經網絡的圖像檢索方法，其特征在于：包括以下步驟：

將數據集按照統一標準劃分為訓練集、校驗集與測試集，利用預訓練的深度學習神經網絡提取待訓練數據集的特征向量，根據特征向量的相似性與稀疏、稠密性進行數據集劃分，

將劃分好的訓練集按照由易到難的順序傳入基于圖卷積神經網絡的深度學習神經網絡中，進行圖像檢索工作；在分步訓練的過程中，損失函數為Triplet損失函數，訓練中等難度的數據集時，損失函數是簡單數據集與中等數據集兩個損失函數按照3∶7加權想加，而訓練困難的數據集時，損失函數是簡單、中等、困難三個函數的平均加權；

使用圖卷積神經網絡與注意力機制對傳入的圖片進行顯著特征的提取，提取最終的圖片特征表示，圖卷積神經網絡的主要公式如下：

F_g＝W_r(A_gF_vW_g)+F_v

其中Ag是(H×W)×(H×W)的鄰接矩陣，Wr為殘差結構矩陣，Fv是深度學習網絡輸出的矩陣，Wg為圖卷積神經網絡的權重矩陣。注意力機制的主要公式如下：

F_mask＝σ(MLP(AvgPool(F_g)))

其中σ是激活函數，MLP是多層全連接層，AvgPool是平均池化層；

使用圖片特征表示進行圖像檢索工作，提高基于內容的圖像檢索工作的準確度與魯棒性，并提高神經網絡對抗不相關物體干擾的能力。

2.根據權利要求1所述的一種基于注意力機制圖卷積神經網絡的圖像檢索方法，其特征在于：

去除神經網絡的最后一層全連接層，將待訓練的數據集傳送入除去全連接層的神經網絡中，使用resnet101深度學習神經網絡提取待訓練的數據集的特征向量；

獲得特征矩陣后，計算同一個查詢的所有圖片的特征向量的歐幾里得距離，并得到特征——稀疏稠密矩陣；

根據特征——稀疏稠密矩陣，矩陣中的每一個值代表兩個圖片之間歐幾里得距離的大小Dis，獲得歐幾里得距離矩陣后，設定一個閾值T，對于歐幾里得矩陣中的每一個值，低于閾值T的被認為兩個圖片之間的特征相差過大，以至于無法被神經網絡輕松地識別為同一類物體：

對距離矩陣使用閾值T公式后，對這張圖片的歐幾里得矩陣中的每一個值(0或1)進行求和，得到這張圖片的特征向量稀疏-稠密得分：

其中i，j代表同一個查詢中的兩張圖片的特征表示，T是設定的閾值，得分較高的圖片被認為與其他圖片的特征向量距離較近，因此被劃分為簡單組，同理，將距離中等的圖片劃分為中等組，將距離較遠的圖片劃分為困難組，將那些脫離了簇群過大的圖片劃分為不可識別組，不可識別組在訓練過程中被移除。

3.根據權利要求2所述的一種基于注意力機制圖卷積神經網絡的圖像檢索方法，其特征在于，將數據集按照統一標準劃分為訓練集、校驗集與測試集，利用預訓練的深度學習神經網絡提取待訓練數據集的特征向量，根據特征向量的相似性與稀疏、稠密性進行數據集劃分，具體為，根據數據集經過深度學習神經網絡得到的特征向量的歐幾里得距離矩陣，將數據集劃分為簡單，中等，困難三個子集。

4.根據權利要求3所屬的一種基于注意力機制圖卷積神經網絡的圖像檢索方法，其特征在于，將數據集由易到難輸入深度神經網絡中進行訓練。

5.根據權利要求2所屬的一種基于注意力機制圖卷積神經網絡的圖像檢索方法，其特征在于，注意力機制-圖卷積神經網絡在基于內容的圖像檢索中的應用。

6.根據權利要求2所屬的一種基于注意力機制圖卷積神經網絡的圖像檢索方法，其特征在于所述步驟的數據集劃分、損失函數的加權求和、圖卷積神經網絡以及注意力機制的公式說明。