[發明專利]一種多目標圖像檢索模型的構建方法及檢索方法和裝置

有效

• 申請號: 202110270411.2
• 申請日: 2021-03-12
• 公開（公告）號: CN113032612B
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 范建平;舒永康;趙萬青;彭先霖;胡琦瑤;楊文靜;王琳
• 申請（專利權）人: 西北大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06F16/55;G06F18/241;G06F18/2415;G06N3/0464;G06N3/047;G06N3/084;G06N3/0895
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 趙中霞

1.一種多目標圖像檢索模型的構建方法，其特征在于，該多目標圖像檢索模型能用于獲取多目標圖像的類哈希表示以實現多目標圖像檢索；包括以下步驟：

步驟1，獲取多幅圖像及其對應的標簽作為訓練集；

步驟2，構建預訓練神經網絡模型，該神經網絡模型為多任務學習模型，包括：

第一模塊：RPN模塊，用以為輸入的圖像生成目標候選框；

第二模塊：任意的深度卷積神經網絡，用以生成輸入的圖像的特征圖；

第三模塊：興趣區域池化模塊，用以快速獲取每個目標候選框對應目標區域的特征向量表示；

第四模塊：目標區域檢測分支，用以確定目標候選框的類別概率進而求和得到圖像的類別概率；

第五模塊：哈希碼學習分支，用以確定目標候選框的類哈希表示；

步驟3，將圖像輸入所述預訓練神經網絡模型進行訓練，包括：

步驟3.1，將圖像輸入第一模塊RPN模塊，為每個圖像生成初始目標候選框，設最終得到P個目標候選框，則輸出為P×4的矩陣，每一行表示一個目標候選框的坐標信息，起始坐標和寬高信息(x,y,w,h)，得到P個目標候選框的坐標信息；

同時，將圖像輸入第二模塊深度卷積神經網絡，設batch?size大小為B，輸出特征圖，

步驟3.2，將步驟3.1的特征圖和P個目標候選框輸入第三模塊興趣區域池化模塊，得到每個目標候選框對應目標區域的特征向量表示，輸出為B×P×d的矩陣，d為特征向量表示的維度；

步驟3.3，將步驟3.2的輸出分別輸入第四模塊目標區域檢測分支和第五模塊哈希碼學習分支，其中目標區域檢測分支的輸出為圖像類別概率，哈希碼學習分支的輸出為每個目標候選框的類哈希表示；

步驟3.4，優化模型：將圖像類別概率與圖像的標簽向量對比計算二元交叉熵分類損失；將每個目標候選框的類哈希表示與圖像的標簽對比計算哈希損失；將計算得到的兩個損失函數加權求和得到最終的聯合損失，并通過隨機梯度下降方法進行反向迭代優化模型，最終得到多目標圖像檢索模型；

所述類哈希表示是指輸出的向量值類似于哈希碼向量，每一位的值為趨近于0或1?的實數。

2.如權利要求1所述的多目標圖像檢索模型的構建方法，其特征在于，所述步驟3.3包括：

步驟3.3.1，在第四模塊目標區域檢測分支中，將每個目標候選框的特征向量通過兩個全連接層后將其輸出分為檢測數據流分支和分類數據流分支；再分別經過兩個全連接層后得到檢測輸出矩陣和分類輸出矩陣；然后將檢測輸出矩陣和分類輸出矩陣進行element-wised的相乘，得到每個目標候選框的類別概率，輸出合并數據矩陣；最后對每個圖像各目標候選框的類別概率求和，得到圖像的類別概率，作為目標區域檢測分支的輸出；

步驟3.3.2，在第五模塊哈希碼學習分支中，將每個目標候選框的特征向量先經過兩個全連接層，再輸入到含有L個節點的哈希層中，得到一個B×P×L的類哈希輸出，每個圖像的行向量代表了每個目標候選框的類哈希表示。