[發明專利]一種序列化多特征指導的跨媒體哈希檢索方法和系統

有效

• 申請號: 201811228921.8
• 申請日: 2018-10-22
• 公開（公告）號: CN109670071B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 彭宇新;葉釗達
• 申請（專利權）人: 北京大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/31;G06F40/30;G06K9/62
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

1.一種序列化多特征指導的跨媒體哈希檢索方法，包括以下步驟：

(1)建立圖像和文本的數據庫，分別提取圖像和文本在多種尺度下的特征；

(2)將圖像、文本的不同尺度特征按設定的順序分別輸入到兩路循環神經網絡，并計算圖像和文本的哈希碼；

(3)通過尺度間關聯約束函數和媒體間、媒體內哈希約束函數對網絡參數進行優化，實現尺度間關聯挖掘和哈希函數的學習；

(4)在檢索階段，提取待查詢圖像或文本的不同尺度特征，并按步驟(2)中相同的方法生成對應的哈希碼，通過哈希碼實現跨媒體哈希檢索；

其中，步驟(2)中采用基于循環神經網絡的深度模型，將圖像、文本的不同尺度特征按設定的順序分別輸入到兩路循環神經網絡，計算哈希碼；其中同一尺度的特征能夠多次輸入網絡，且每一個尺度的特征都會對應生成一定長度的哈希碼，其長度由預先的參數定義，最終的哈希碼為上述步驟 得到的哈希碼拼接得到；圖像和文本第k個輸入的尺度特征生成的哈希碼長度需要保持一致，以便于實現尺度間關聯的挖掘；

步驟(3)中采用的尺度間關聯約束函數為：

其中，loss_corr表示尺度間關聯約束總損失，h_t(x),h_i(y)分別指圖像和文本所有尺度特征生成的完整的文本哈希碼和圖像哈希碼；h_t^k(x),h_i^k(y)指第k個輸入的尺度特征生成的文本、圖像哈希碼；F_corr表示尺度間關聯約束函數，定義為：F_corr(x,y)＝1-cos(x,y)，其中x,y分別表示圖像和文本生成的哈希碼，cos表示余弦距離函數。

2.如權利要求1所述的方法，其特征在于，步驟(1)中的圖像特征向量為：VGG-19網絡的POOL-5、FC-6、FC-7層特征，分別代表底層基元尺度特征、中層概念尺度特征和高層語義尺度特征；文本特征為：文本詞袋特征和使用主成份分析方法對每一句的詞袋特征降維拼接的句子詞袋特征，分別代表單詞尺度特征和句子尺度特征。

3.如權利要求1所述方法，其特征在于，步驟(3)中采用的媒體間、媒體內哈希約束函數定義如下：

Loss_inter＝∑J(h_i(x),h_t(x⁺),h_t(x^-))+J(h_t(x),h_i(x⁺),h_i(x^-))，

Loss_intra＝∑J(h_i(x),h_i(x⁺),h_i(x^-))+J(h_t(x),h_t(x⁺),h_t(x^-))，

其中Loss_inter表示媒體間哈希約束函數，Loss_intra表示媒體內哈希約束函數；h_t(x),h_i(x)分別指生成的文本哈希碼和圖像哈希碼；x⁺和x^-分別表示和x有著相同標簽和不同標簽的圖像或者文本；J(·)表示三元損失函數：

J(h(x),h(x⁺),h(x^-))＝max(0,m_t+‖h(x)-h(x⁺)‖²-‖h(x)-h(x^-)‖²)，

其中，h(·)表示哈希函數；m_t是邊界閾值參數；x,x⁺,x^-表示多媒體數據，其中x,x⁺有著相同語義標簽，x,x^-有著不同的語義標簽。