[發明專利]圖像檢索方法及裝置

有效

• 申請號: 201811486518.5
• 申請日: 2018-12-06
• 公開（公告）號: CN109597906B
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 李磊;董遠;白洪亮;熊風燁
• 申請（專利權）人: 蘇州飛搜科技有限公司
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06N3/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

本發明實施例提供一種圖像檢索方法及裝置，所述方法包括：使用卷積神經網絡提取目標圖像的特征，根據卷積神經網絡中最后一個卷積層輸出的目標圖像特征圖，將同一位置的特征圖中像素的總得分作為目標圖像的類激活映射表；將各特征圖與類激活映射表進行相乘后求和池化，將求和池化結果與目標圖像各特征圖的權重進行相乘，獲取目標圖像各特征圖的中間特征；根據卷積神經網絡的判別層輸出的目標圖像類別概率和目標圖像各特征圖的中間特征，獲取目標圖像各特征圖的空間語義特征；根據目標圖像各特征圖的空間語義特征和預先獲取的各待檢索圖像各特征圖的空間語義特征，獲取檢索結果。本發明實施例使用空間語義信息進行檢索，提高了檢索精度。

技術領域

本發明實施例屬于信息檢索技術領域，更具體地，涉及一種圖像檢索方法及裝置。

背景技術

圖像檢索是指從圖像數據庫中檢索出與指定圖像相似的圖像。包括基于文本的圖像檢索和基于內容的圖像檢索。基于文本的圖像檢索是利用文本描述的方式描述圖像的特征，基于內容的圖像檢索是使用圖像的內容語義，如顏色、紋理和布局等進行分析和檢索。

傳統的基于內容的圖像檢索主要以手工制作的特征，即通過均值方差等數學上的信息對圖像進行編碼來獲取特征，再進行余弦距離或者歐式距離的匹配來進行檢索。隨著卷積神經網絡在圖像識別上取得的成就，衍生出了提取卷積神經網絡的全連接層的特征來進行檢索。針對不同的檢索任務，首先對該任務訓練一個分類網絡，在特定數據集上進行微調，然后提取全連接層的特征進行匹配檢索。又有研究表明，卷積神經網絡的卷積層輸出相比全連接層的輸出具有更多的空間信息，對于檢索的效果更好。于是又嘗試將卷積層的特征與內部感興趣區域獲取結合起來，加入監督學習的方式，如目標檢測來獲取圖像中的關鍵區域，提取卷積層的特征進行檢索。

由于圖像檢索中所使用的特征對檢索結果有重大影響，即從圖像中提取的特征越精確，越精細，檢索結果越精確。因此，直接使用卷積神經網絡中提取的空間特征進行圖像檢索的結果不精確。

發明內容

為克服上述現有的圖像檢索方法的檢索結果不精確的問題或者至少部分地解決上述問題，本發明實施例提供一種圖像檢索方法及裝置。

根據本發明實施例的第一方面，提供一種圖像檢索方法，包括：

使用卷積神經網絡提取目標圖像的特征，根據所述卷積神經網絡中最后一個卷積層輸出的目標圖像特征圖，將同一位置的所述目標圖像特征圖中像素的總得分作為所述目標圖像的類激活映射表；

將所述目標圖像的各特征圖與所述目標圖像的類激活映射表進行相乘后求和池化，將求和池化結果與所述目標圖像各特征圖的權重進行相乘，獲取所述目標圖像各特征圖的中間特征；

根據所述卷積神經網絡的判別層輸出的目標圖像類別概率和所述目標圖像各特征圖的中間特征，獲取所述目標圖像各特征圖的空間語義特征；

根據所述目標圖像各特征圖的空間語義特征和預先獲取的各待檢索圖像各特征圖的空間語義特征，獲取檢索結果。

根據本發明實施例第二方面提供一種圖像檢索裝置，包括：

映射模塊，用于使用卷積神經網絡提取目標圖像的特征，根據所述卷積神經網絡中最后一個卷積層輸出的目標圖像特征圖，將同一位置的所述目標圖像特征圖中像素的總得分作為所述目標圖像的類激活映射表；

第一獲取模塊，用于將所述目標圖像的各特征圖與所述目標圖像的類激活映射表進行相乘后求和池化，將求和池化結果與所述目標圖像各特征圖的權重進行相乘，獲取所述目標圖像的各特征圖的中間特征；

第二獲取模塊，用于根據所述卷積神經網絡的判別層輸出的目標圖像類別概率和所述目標圖像各特征圖的中間特征，獲取所述目標圖像各特征圖的空間語義特征；

檢索模塊，用于根據所述目標圖像各特征圖的空間語義特征和預先獲取的各待檢索圖像各特征圖的空間語義特征，獲取檢索結果。