[發(fā)明專利]一種基于極少訓(xùn)練樣本的深度圖像哈希方法

有效

• 申請?zhí)枺?/td>: 201811053140.X
• 申請日: 2018-09-10
• 公開（公告）號: CN109472282B
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計）人: 耿立冰;潘炎;印鑒;賴韓江;潘文杰
• 申請（專利權(quán)）人: 中山大學(xué);廣州中大南沙科技創(chuàng)新產(chǎn)業(yè)園有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 林麗明

1.一種基于訓(xùn)練樣本的深度圖像哈希方法，其特征在于，包括以下步驟：

S1：任務(wù)定義及數(shù)據(jù)劃分；

S2：構(gòu)建triplet-based通用深度哈希模型；

S3：基于通用深度哈希模型構(gòu)建支持記憶體；

S4：通過雙向長短期記憶子網(wǎng)絡(luò)和支持記憶體學(xué)習(xí)極少樣本的特征表示；

S5：訓(xùn)練極少樣本下的深度圖像哈希模型，并對極少樣本的測試集進(jìn)行檢索測試；

所述步驟S1的具體過程是：

以cifar100數(shù)據(jù)集為樣本，將cifar100劃分為2部分，第一部分有80類，每一類有充足的500張訓(xùn)練圖片，記作S；另外一部分有20類，每一類只有少量的3張或者5張、10張訓(xùn)練樣本，該部分記作L，目的是訓(xùn)練一個深度哈希模型，使得屬于這20類的圖片能夠在整個100類的圖像數(shù)據(jù)庫里進(jìn)行相對有效的檢索；

所述步驟S2的具體過程是：

S21：針對深度圖像哈希的任務(wù)，首先需要構(gòu)建特征學(xué)習(xí)子網(wǎng)絡(luò)，即深度卷積網(wǎng)絡(luò)，卷積網(wǎng)絡(luò)由卷積層、激活層和池化層堆疊而成，具有強大的特征表達(dá)能力；

S22：經(jīng)過卷積子網(wǎng)絡(luò)后，每一張圖片轉(zhuǎn)換為一個語義特征向量，然后，特征向量后面加一個輸出神經(jīng)元數(shù)量為q的全連接層和相應(yīng)的sigmoid激活函數(shù)層，每一個圖像就轉(zhuǎn)換為q維的、范圍在0～1之間的實數(shù)向量，即哈希向量；

S23：得到哈希向量后，通過三元組損失函數(shù)(triplet ranking loss)進(jìn)行約束，三元組損失函數(shù)的目的是通過學(xué)習(xí)，讓相似圖片的近似哈希向量之間的距離要遠(yuǎn)遠(yuǎn)小于不相似圖片的哈希向量之間的距離；

S24：訓(xùn)練triplet-based的通用深度哈希網(wǎng)絡(luò)，得到通用深度哈希模型；

所述步驟S3的具體過程是：

S31：從前面任務(wù)定義中，數(shù)據(jù)集有2部分，一部分是S，另一部分是L，S中每一類有充足的訓(xùn)練樣本，可以對應(yīng)于已經(jīng)見過或者學(xué)習(xí)過的事物；L中訓(xùn)練樣本很少，對應(yīng)于新見到的事物；

S32：用訓(xùn)練好的triplet-based通用深度哈希模型對S中的樣本進(jìn)行特征提取，具體為：將樣本I[i][j]依次輸入到通用深度哈希模型，得到每一張圖片的語義特征，其中1≤i≤s,1≤j≤n，s為S的種類數(shù)，n為每一類的樣本數(shù)；

S33：將所有的特征排列為M[i][j]，具體為：每一行i相同，表示該行的特征向量屬于同一類，不同列表示該類第j個樣本特征向量，M為支持記憶體。

2.根據(jù)權(quán)利要求1所述的基于訓(xùn)練樣本的深度圖像哈希方法，其特征在于，所述步驟S4的具體過程如下：

S41：在每一個迭代中，支持記憶體會按照指定順序?qū)γ恳活愄卣鲝棾鲆粋€特征向量，記作ft，1≤t≤s；

S42：雙向長短期記憶子網(wǎng)絡(luò)的正向和反向展開為s個time step；

S43：令f_l作為雙向長短期記憶子網(wǎng)絡(luò)的時不變的輸入x_static，令f_t作為雙向長短期記憶子網(wǎng)絡(luò)的時變的輸入x_t；

S44：經(jīng)過雙向長短期記憶子網(wǎng)絡(luò)和支持記憶體的交互，得到極少新樣本的最終特征表示；

S45：對新的特征表示用三元組損失函數(shù)進(jìn)行約束。

3.根據(jù)權(quán)利要求2所述的基于訓(xùn)練樣本的深度圖像哈希方法，其特征在于，所述步驟S5的具體過程如下：

S51：用隨機(jī)梯度下降的方法對整個網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

S52：對L的測試集在整個圖像數(shù)據(jù)庫中進(jìn)行檢索，并計算測試結(jié)果。