[發(fā)明專利]基于深度哈希能量模型的多標(biāo)簽圖像檢索方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110381057.0
• 申請(qǐng)日: 2021-04-09
• 公開(kāi)（公告）號(hào): CN112800260B
• 公開(kāi)（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 周修莊;黃鵬
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): G06F16/532
• 分類號(hào): G06F16/532;G06F16/583;G06F16/55;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 韓?；?/td>

1.一種基于深度哈希能量模型的多標(biāo)簽圖像檢索方法，其特征在于，包括以下步驟：

獲取查詢圖像，通過(guò)能量模型預(yù)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)的模型文件獲取所述查詢圖像的哈希編碼；

其中，所述能量模型包括基于噪聲對(duì)比估計(jì)NCE的EBM分類損失模型，和通過(guò)均方誤差MSE對(duì)所述能量模型進(jìn)行模型優(yōu)化的哈希量化MSE損失模型，基于所述的EBM分類損失模型和所述的哈希量化MSE損失模型建立聯(lián)合學(xué)習(xí)模型；

遵循漢明空間檢索的評(píng)估方法，所述遵循漢明空間檢索的評(píng)估方法包括剪枝和掃描；

其中，所述剪枝是根據(jù)所述查詢圖像的哈希編碼，搜索所述模型文件的哈希表中與漢明半徑不大于2的關(guān)聯(lián)圖像；

所述掃描是將所述關(guān)聯(lián)圖像按連續(xù)編碼的漢明距離，從小到大進(jìn)行排序，并對(duì)排序后的關(guān)聯(lián)圖像進(jìn)行展示。

2.如權(quán)利要求1所述的方法，其特征在于，基于所述噪聲對(duì)比估計(jì)NCE的EBM分類損失模型的公式為：

其中，L_EBM為EBM分類損失，n為圖像樣本數(shù)量，i為圖像序號(hào)，m為噪聲樣本序號(hào)，M為來(lái)自P_N(y|y_i)的噪聲樣本數(shù)量，f_θ(x_i,y^(i,0))為x_i與y^(i,0)經(jīng)過(guò)能量模型輸出的能量值，y^(i,0)定義為y_i，x_i為第i個(gè)圖像數(shù)據(jù)，y_i為第i個(gè)圖像的真實(shí)標(biāo)簽信息，y^(i,m)為針對(duì)第i個(gè)圖像第m個(gè)噪聲樣本生成的標(biāo)簽信息，P_N(y^(i,0)|y_i)在y_i的條件下y^(i,0)的概率分布，f_θ(x_i,y^(i,m))為x_i與y^(i,m)經(jīng)過(guò)能量模型輸出的能量值。

3.如權(quán)利要求2所述的方法，其特征在于，所述通過(guò)均方誤差MSE對(duì)所述能量模型進(jìn)行模型優(yōu)化的哈希量化MSE損失模型的公式為：

其中，L_MSE為哈希量化MSE損失，h(x_i)為卷積神經(jīng)網(wǎng)絡(luò)輸出的深度特征，n為圖像樣本數(shù)量，i為圖像序號(hào)，x_i為第i個(gè)圖像數(shù)據(jù)，sgn(h(x_i))為返回h(x_i)的正負(fù)值，如果數(shù)字大于0，則sgn返回1，數(shù)字等于0，則返回0，數(shù)字小于0，則返回-1。

4.如權(quán)利要求3所述的方法，其特征在于，基于所述的EBM分類損失模型和所述的哈希量化MSE損失模型建立聯(lián)合學(xué)習(xí)模型的公式為：

其中，arg min_θ為當(dāng)L取最小值時(shí)相關(guān)參數(shù)的取值，θ為目標(biāo)函數(shù)相關(guān)參數(shù)，λ_EBM和λ_MSE均為超參數(shù)。

5.如權(quán)利要求1所述的方法，其特征在于，所述能量模型為通過(guò)樣本集學(xué)習(xí)數(shù)據(jù)與標(biāo)簽之間的聯(lián)合概率密度生成所述能量模型；

根據(jù)所述的聯(lián)合概率密度獲取條件概率密度，所述條件概率密度的公式為：

其中，x為樣本集圖像數(shù)據(jù)，y為標(biāo)簽，p(x,y)為聯(lián)合概率密度，p(y|x)為條件概率密度，p(x)為樣本集圖像數(shù)據(jù)的概率密度，

所述能量模型的公式為：

其中，Z為配分函數(shù)，用以將概率值歸一化，Z=∫e^f(x,y)dy；e^f(x,y)視為聯(lián)合概率密度p(x,y)，f(x,y)為能量函數(shù)。