[發明專利]圖像檢索方法和裝置、計算機設備和存儲介質

有效

• 申請號: 201710433984.6
• 申請日: 2017-06-09
• 公開（公告）號: CN109033107B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 賴韓江
• 申請（專利權）人: 騰訊科技（深圳）有限公司;中山大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 何平;鄧云鵬

1.一種圖像檢索方法，其特征在于，包括：

獲取檢索圖像；

將所述檢索圖像輸入預先對具有相似關系的訓練圖像樣本訓練得到的卷積神經網絡，通過所述卷積神經網絡的輸入層和前置卷積層得到第一輸出結果；所述前置卷積層為所述卷積神經網絡中靠近輸入層的預設數量的卷積層；

所述第一輸出結果輸入到所述卷積神經網絡的分支網絡，得到每個像素點為物體的概率對應的物體的位置概率圖；

所述第一輸出結果輸入到所述卷積神經網絡的中間卷積層，得到所述檢索圖像的特征圖；

對所述特征圖與所述位置概率圖進行點乘處理得到融合位置信息的特征圖，并將所述融合位置信息的特征圖輸入至所述卷積神經網絡的后置卷積層，通過后置卷積層和全連接層，輸出所述檢索圖像的特征向量；所述后置卷積層為卷積神經網絡中靠近輸出層的預設數量的卷積層；

將所述檢索圖像的特征向量與數據庫的各圖像的特征向量進行比較，得到所述檢索圖像的檢索結果。

2.根據權利要求1所述的圖像檢索方法，其特征在于，在獲取檢索圖像的步驟之前，還包括：

利用具有相似關系的訓練圖像樣本訓練得到所述卷積神經網絡。

3.根據權利要求2所述的圖像檢索方法，其特征在于，利用具有相似關系的訓練圖像樣本訓練得到所述卷積神經網絡的步驟之前，還包括：

獲取標記相似關系的第一訓練圖像樣本；

獲取未標記相似關系的第二訓練圖像樣本；

根據所述第一訓練圖像樣本和所述第二訓練圖像樣本，基于相似性矩陣的特性對應的目標約束，補全所述第二訓練圖像樣本的各圖像間的相似關系，得到包括所述第一訓練圖像樣本和所述第二訓練圖像樣本的所述訓練圖像樣本；所述相似性矩陣為分塊對角矩陣；所述目標約束為拉普拉斯約束。

4.根據權利要求1所述的圖像檢索方法，其特征在于，所述卷積神經網絡的分支網絡采用循環神經網絡；

所述第一輸出結果輸入到所述卷積神經網絡的分支網絡，得到每個像素點為物體的概率對應的物體的位置概率圖的步驟包括：

所述第一輸出結果輸入到所述卷積神經網絡的分支網絡，得到每個像素點為一個物體的概率值；

在得到的所述概率值大于預設值時，將所述概率值迭代輸入所述分支網絡，得到每個像素點為另一物體的概率值；

當得到的所述概率值小于或等于所述預設值時，停止迭代得到每個像素點為物體的概率對應的物體的位置概率圖。

5.根據權利要求4所述的圖像檢索方法，其特征在于，對所述特征圖與所述位置概率圖進行點乘處理得到融合位置信息的特征圖的步驟包括：

分別將各位置概率圖與所述特征圖進行點乘處理后相加，得到融合位置信息的特征圖。

6.一種圖像檢索裝置，其特征在于，包括：圖像獲取模塊、卷積神經網絡模塊、檢索模塊；

所述圖像獲取模塊，用于獲取檢索圖像；

所述卷積神經網絡模塊，用于將所述檢索圖像輸入預先對具有相似關系的訓練圖像樣本訓練得到的卷積神經網絡，通過所述卷積神經網絡的輸入層和前置卷積層得到第一輸出結果；所述第一輸出結果輸入到所述卷積神經網絡的分支網絡，得到每個像素點為物體的概率對應的物體的位置概率圖；所述第一輸出結果輸入到所述卷積神經網絡的中間卷積層，得到所述檢索圖像的特征圖；對所述特征圖與所述位置概率圖進行點乘處理得到融合位置信息的特征圖，并將所述融合位置信息的特征圖輸入至所述卷積神經網絡的后置卷積層，通過后置卷積層和全連接層，輸出所述檢索圖像的特征向量；所述前置卷積層為所述卷積神經網絡中靠近輸入層的預設數量的卷積層；所述后置卷積層為卷積神經網絡中靠近輸出層的預設數量的卷積層；

所述檢索模塊，用于將所述檢索圖像的特征向量與數據庫的各圖像的特征向量進行比較，得到所述檢索圖像的檢索結果。

7.根據權利要求6所述的圖像檢索裝置，其特征在于，還包括訓練模塊，用于利用具有相似關系的訓練圖像樣本訓練得到所述卷積神經網絡。