[發(fā)明專利]一種有鑒別的全相似性保留哈希跨模態(tài)檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811358982.6
• 申請(qǐng)日: 2018-11-15
• 公開(kāi)（公告）號(hào): CN109766455B
• 公開(kāi)（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 荊曉遠(yuǎn);朱治蘭;孫瑩;吳飛;董西偉
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06F16/43
• 分類號(hào): G06F16/43;G06K9/62
• 代理公司: 南京正聯(lián)知識(shí)產(chǎn)權(quán)代理有限公司 32243
• 代理人: 王素琴

1.一種有鑒別的全相似性保留哈希跨模態(tài)檢索方法，其特征在于，所述方法包括步驟：

S1、由圖像文本對(duì)組成樣本構(gòu)成數(shù)據(jù)集，并將所述數(shù)據(jù)集按照設(shè)定比例劃分成特征向量訓(xùn)練集和測(cè)試集，并對(duì)每一樣本中對(duì)應(yīng)文本和圖像的特征向量做數(shù)據(jù)規(guī)整和均一化處理；

S2、提取所述訓(xùn)練集中具有雙模態(tài)的數(shù)據(jù)，基于所述數(shù)據(jù)構(gòu)造有鑒別的全相似性保留哈希的目標(biāo)函數(shù)：

，其中，T為文本特征矩陣，P_T為文本特征矩陣對(duì)應(yīng)的文本特征投影矩陣，V為圖像特征矩陣，P_V為圖像特征矩陣對(duì)應(yīng)的圖像特征投影矩陣，Y為標(biāo)簽矩陣，W為線性分類器，S為語(yǔ)義特征矩陣，L為保留相似性的圖拉普拉斯矩陣，γ，μ_T，μ_V，λ均為折衷參數(shù)；

S3、設(shè)定一閾值，采用迭代法求解所述目標(biāo)函數(shù)，判斷每一迭代過(guò)程中所述目標(biāo)函數(shù)的解，若所述解小于或等于所述閾值，則停止迭代，并更新P_V，P_T，S和W；

所述目標(biāo)函數(shù)采用迭代法求解具體包括步驟：

S31、隨機(jī)初始化P_V，P_T，S，W確定哈希碼長(zhǎng)度k；

S32、固定S，W，并令得求解得：

S33、固定P_V，P_T，S令得求解得：W＝(SS^T+λI)^-1SY^T；

S34、固定P_V，P_T，W令得整理得：AS+SB+E＝0，其中，A＝2(WW^T+(μ_V+μ_T)I)，B＝L+L^T，E＝-2(WT+μ_VP_VV+μ_TP_TT)；

S35、更新P_V，P_T，S，W；

S4、基于所述目標(biāo)函數(shù)的迭代解采用公式H＝sign(S)計(jì)算訓(xùn)練集哈希碼；

S5、利用所述更新得到的P_V和P_T對(duì)所述訓(xùn)練集進(jìn)行投影變換，將投影變換后得到的矩陣作為圖像文本語(yǔ)義特征矩陣，使用公式H＝sign(S)計(jì)算測(cè)試集哈希碼；

S6、計(jì)算所述測(cè)試集中每個(gè)圖像哈希碼與所述訓(xùn)練集中所有文本哈希碼之間的漢明距離以及所述測(cè)試集每個(gè)文本哈希碼與所述訓(xùn)練集中所有圖像哈希碼之間的漢明距離

S7、升序排列和并根據(jù)排列結(jié)果查詢到所述文本和圖像在模態(tài)中對(duì)應(yīng)的索引，并按照相關(guān)度排名后取前r個(gè)作為檢索結(jié)果，并基于所述雙模態(tài)數(shù)據(jù)的標(biāo)簽信息對(duì)r個(gè)所述檢索結(jié)果進(jìn)行mAP值計(jì)算，完成圖像文本對(duì)的跨模態(tài)檢索。

2.根據(jù)權(quán)利要求1所述的有鑒別的全相似性保留哈希跨模態(tài)檢索方法，其特征在于，所述折衷參數(shù)λ的取值范圍為[10^-5,1]。

3.根據(jù)權(quán)利要求1所述的有鑒別的全相似性保留哈希跨模態(tài)檢索方法，其特征在于，所述折衷參數(shù)γ的取值范圍為[0,2]。

4.根據(jù)權(quán)利要求1所述的有鑒別的全相似性保留哈希跨模態(tài)檢索方法，其特征在于，所述折衷參數(shù)μ_T和μ_V的取值范圍均為[1,200]。

5.根據(jù)權(quán)利要求1 ～ 4 任一項(xiàng)所述的有鑒別的全相似性保留哈希跨模態(tài)檢索方法，其特征在于，所述方法還包括通過(guò)公式和公式計(jì)算平均的平均精度指標(biāo)評(píng)估，其中，q_i是一條檢索輸入，N是檢索條目輸入總數(shù)；T是檢索集中所有相關(guān)實(shí)體的個(gè)數(shù)，P_q(r)是按照相關(guān)度排名后的前r個(gè)檢索實(shí)體的精度；ξ(r)是一個(gè)指標(biāo)函數(shù)，當(dāng)?shù)趓個(gè)被檢索到的實(shí)體與檢索內(nèi)容標(biāo)簽一致則ξ(r)的值為1，否則為0。