[發(fā)明專利]圖像檢索方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811486518.5
• 申請(qǐng)日: 2018-12-06
• 公開(kāi)（公告）號(hào): CN109597906B
• 公開(kāi)（公告）日: 2020-11-13
• 發(fā)明（設(shè)計(jì)）人: 李磊;董遠(yuǎn);白洪亮;熊風(fēng)燁
• 申請(qǐng)（專利權(quán)）人: 蘇州飛搜科技有限公司
• 主分類號(hào): G06F16/53
• 分類號(hào): G06F16/53;G06N3/04
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩;吳歡燕

1.一種圖像檢索方法，其特征在于，包括：

使用卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)圖像的特征，根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)中最后一個(gè)卷積層輸出的目標(biāo)圖像特征圖，將同一位置的所述目標(biāo)圖像特征圖中像素的總得分作為所述目標(biāo)圖像的類激活映射表；

將所述目標(biāo)圖像的各特征圖與所述目標(biāo)圖像的類激活映射表進(jìn)行相乘后求和池化，將求和池化結(jié)果與所述目標(biāo)圖像各特征圖的權(quán)重進(jìn)行相乘，獲取所述目標(biāo)圖像各特征圖的中間特征；

根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)的判別層輸出的目標(biāo)圖像類別概率和所述目標(biāo)圖像各特征圖的中間特征，獲取所述目標(biāo)圖像各特征圖的空間語(yǔ)義特征；

根據(jù)所述目標(biāo)圖像各特征圖的空間語(yǔ)義特征和預(yù)先獲取的各待檢索圖像各特征圖的空間語(yǔ)義特征，獲取檢索結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)以下公式根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)中最后一個(gè)卷積層輸出的目標(biāo)圖像特征圖，將同一位置的所述目標(biāo)圖像特征圖中像素的總得分作為所述目標(biāo)圖像的類激活映射表：

其中，CAM_c(x,y)為所述目標(biāo)圖像所有特征圖中坐標(biāo)為(x,y)的像素的總得分，f_k(x,y)表示最后一個(gè)卷積層輸出的目標(biāo)圖像第k個(gè)特征圖中坐標(biāo)為(x,y)的像素特征，為目標(biāo)圖像第k個(gè)特征圖的預(yù)測(cè)結(jié)果為c類時(shí)所述卷積神經(jīng)網(wǎng)絡(luò)的全連接層的權(quán)重參數(shù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將求和池化結(jié)果與所述目標(biāo)圖像各特征圖的權(quán)重進(jìn)行相乘，獲取所述目標(biāo)圖像各特征圖的中間特征的步驟之前，還包括通過(guò)以下公式計(jì)算所述目標(biāo)圖像各特征圖的權(quán)重：

其中，CW_k表示所述目標(biāo)圖像第k個(gè)特征圖的權(quán)重，K為所述目標(biāo)圖像特征圖的總個(gè)數(shù)，Q_n為目標(biāo)圖像第n個(gè)特征圖中非零像素的比例，Q_k為目標(biāo)圖像第k個(gè)特征圖中非零像素的比例。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)的判別層輸出的目標(biāo)圖像類別概率和所述目標(biāo)圖像各特征圖的中間特征，獲取所述目標(biāo)圖像各特征圖的空間語(yǔ)義特征的步驟具體包括：

根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)的全連接層的輸出，使用softmax判別層獲取所述目標(biāo)圖像的類別概率；

將所述類別概率與所述目標(biāo)圖像各特征圖的中間特征進(jìn)行相乘，獲取所述目標(biāo)圖像各特征圖的空間語(yǔ)義特征。

5.根據(jù)權(quán)利要求1-4任一所述的方法，其特征在于，各所述待檢索圖像各特征圖的獲取方法與所述目標(biāo)圖像特征圖的獲取方法相同；

各所述待檢索圖像各特征圖的空間語(yǔ)義特征的獲取方法與所述目標(biāo)圖像特征圖的空間語(yǔ)義特征的獲取方法相同。

6.根據(jù)權(quán)利要求1-4任一所述的方法，其特征在于，根據(jù)所述目標(biāo)圖像各特征圖的空間語(yǔ)義特征和預(yù)先獲取的各待檢索圖像各特征圖的空間語(yǔ)義特征，獲取檢索結(jié)果的步驟具體包括：

計(jì)算所述目標(biāo)圖像各特征圖的空間語(yǔ)義特征和各待檢索圖像各特征圖的預(yù)先獲取的空間語(yǔ)義特征之間的余弦距離，根據(jù)所述余弦距離獲取檢索結(jié)果。

7.一種圖像檢索裝置，其特征在于，包括：

映射模塊，用于使用卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)圖像的特征，根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)中最后一個(gè)卷積層輸出的目標(biāo)圖像特征圖，將同一位置的所述目標(biāo)圖像特征圖中像素的總得分作為所述目標(biāo)圖像的類激活映射表；

第一獲取模塊，用于將所述目標(biāo)圖像的各特征圖與所述目標(biāo)圖像的類激活映射表進(jìn)行相乘后求和池化，將求和池化結(jié)果與所述目標(biāo)圖像各特征圖的權(quán)重進(jìn)行相乘，獲取所述目標(biāo)圖像的各特征圖的中間特征；

第二獲取模塊，用于根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)的判別層輸出的目標(biāo)圖像類別概率和所述目標(biāo)圖像各特征圖的中間特征，獲取所述目標(biāo)圖像各特征圖的空間語(yǔ)義特征；

檢索模塊，用于根據(jù)所述目標(biāo)圖像各特征圖的空間語(yǔ)義特征和預(yù)先獲取的各待檢索圖像各特征圖的空間語(yǔ)義特征，獲取檢索結(jié)果。