[發(fā)明專利]一種基于目標(biāo)檢測(cè)的無(wú)監(jiān)督深度哈希方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910449029.0
• 申請(qǐng)日: 2019-05-28
• 公開（公告）號(hào): CN110196918B
• 公開（公告）日: 2021-05-04
• 發(fā)明（設(shè)計(jì)）人: 毛先領(lǐng);涂榮成;黃河燕;程序;鄒佳
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué);中電科大數(shù)據(jù)研究院有限公司
• 主分類號(hào): G06F16/583
• 分類號(hào): G06F16/583
• 代理公司: 北京正陽(yáng)理工知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 唐華

本發(fā)明涉及一種基于目標(biāo)檢測(cè)的無(wú)監(jiān)督深度哈希方法，屬于計(jì)算機(jī)信息檢索技術(shù)以及圖片檢索技術(shù)領(lǐng)域。利用目標(biāo)檢測(cè)獲得圖片中存在的物體標(biāo)簽，并將這些標(biāo)簽作為圖片的偽標(biāo)簽，基于偽標(biāo)簽訓(xùn)練設(shè)計(jì)好的端到端深度哈希模型，得到每張圖片在漢明空間中的哈希碼表示；再通過(guò)對(duì)應(yīng)哈希碼在圖片檢索任務(wù)中的平均準(zhǔn)確率均值來(lái)評(píng)價(jià)深度哈希模型的好壞；其中，平均準(zhǔn)確率均值即MAP；所依托的無(wú)監(jiān)督深度哈希模型包括目標(biāo)檢測(cè)算法單元以及哈希網(wǎng)絡(luò)單元。所述方法能獲得更有指導(dǎo)性的信息；能充分利用深度模型的能力來(lái)學(xué)習(xí)高質(zhì)量的保持相似度的哈希碼；在真實(shí)圖片數(shù)據(jù)集中進(jìn)行圖片檢索取得了最好的效果，即MAP值最高。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于目標(biāo)檢測(cè)的無(wú)監(jiān)督深度哈希方法，屬于計(jì)算機(jī)信息檢索技術(shù)以及圖片檢索技術(shù)領(lǐng)域。

背景技術(shù)

隨著圖像數(shù)據(jù)的快速增長(zhǎng)，近似近鄰(ANN)搜索在大規(guī)模圖像搜索領(lǐng)域受到越來(lái)越多研究者的關(guān)注。在現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)搜索技術(shù)中，保留相似性的哈希方法具有檢索效率高、存儲(chǔ)成本低等優(yōu)點(diǎn)。哈希方法的主要思想是將高維數(shù)據(jù)點(diǎn)轉(zhuǎn)換成一組緊湊的二進(jìn)制代碼，同時(shí)保持原始數(shù)據(jù)點(diǎn)的相似性。由于原始數(shù)據(jù)點(diǎn)是用二進(jìn)制代碼表示的，而不是用實(shí)值特征表示的，因此可以大大減少搜索的時(shí)間和內(nèi)存開銷。

目前取得較好效果的哈希方法大多數(shù)都是有監(jiān)督哈希方法，相比于無(wú)監(jiān)督的哈希方法，有監(jiān)督哈希方法需要利用到圖片的類別標(biāo)簽信息作為監(jiān)督信息來(lái)訓(xùn)練網(wǎng)絡(luò)。然而，在許多實(shí)際應(yīng)用中，沒(méi)有可以用作監(jiān)督信息的圖像語(yǔ)義標(biāo)簽。因此，在這種情況下，我們可以使用無(wú)監(jiān)督哈希方法來(lái)處理大規(guī)模的圖像檢索任務(wù)。但是，現(xiàn)有的很多無(wú)監(jiān)督哈希方法都沒(méi)有挖掘圖片中潛在的標(biāo)簽信息并以此作為指導(dǎo)信息來(lái)訓(xùn)練模型，因而使得模型的圖片檢索效果較差。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決深度無(wú)監(jiān)督哈希方法中無(wú)法利用圖片中潛在標(biāo)簽信息的問(wèn)題，提出了一種基于目標(biāo)檢測(cè)的無(wú)監(jiān)督深度哈希方法，能夠利用圖片中潛在的語(yǔ)義標(biāo)簽來(lái)提升圖片檢索的MAP值。

所述無(wú)監(jiān)督深度哈希方法的核心思想為：利用目標(biāo)檢測(cè)獲得圖片中存在的物體標(biāo)簽，并將這些標(biāo)簽作為圖片的偽標(biāo)簽，基于偽標(biāo)簽訓(xùn)練設(shè)計(jì)好的端到端深度哈希模型，得到每張圖片在漢明空間中的哈希碼表示；再通過(guò)對(duì)應(yīng)哈希碼在圖片檢索任務(wù)中的平均準(zhǔn)確率均值來(lái)評(píng)價(jià)深度哈希模型的好壞。

其中，平均準(zhǔn)確率均值，即Mean Average Precision，簡(jiǎn)稱MAP；

基于目標(biāo)檢測(cè)的無(wú)監(jiān)督深度哈希方法依托的無(wú)監(jiān)督深度哈希模型包括目標(biāo)檢測(cè)算法單元以及哈希網(wǎng)絡(luò)單元；

其中，哈希網(wǎng)絡(luò)單元包括順序連接的五個(gè)卷積層和三個(gè)全連接層；

其中，五個(gè)卷積層和三個(gè)全連接層中的前兩個(gè)全連接層的激活函數(shù)均為ReLU，最后一個(gè)全連接層的激活函數(shù)為雙曲正切函數(shù)tanh；

目標(biāo)檢測(cè)算法單元與哈希網(wǎng)絡(luò)單元相連；

目標(biāo)檢測(cè)算法單元用于挖掘圖片中的隱語(yǔ)義標(biāo)簽；哈希網(wǎng)絡(luò)單元用于生成圖片的哈希碼。

為實(shí)現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案如下：

所述基于目標(biāo)檢測(cè)的無(wú)監(jiān)督深度哈希方法，包括如下步驟：

步驟1：選取一個(gè)目標(biāo)檢測(cè)方法，將該方法在大規(guī)模的圖片數(shù)據(jù)集上按照選取的目標(biāo)檢測(cè)方法的訓(xùn)練步驟進(jìn)行訓(xùn)練，輸出訓(xùn)練好的目標(biāo)檢測(cè)單元；

其中，選取的目標(biāo)檢測(cè)方法是YOLO、SSD、Faster R-CNN或R-CNN中的一個(gè)；

步驟2：選取公共圖片數(shù)據(jù)集中百分之八十的圖片作為圖片數(shù)據(jù)集P，剩下的百分之二十作為測(cè)試集T；

其中，圖片數(shù)據(jù)集P中包含n張圖片，測(cè)試集T中包含r張圖片；

P中的第k張圖片表示為P_k∈P；k的取值范圍為1到n；