[發(fā)明專利]一種基于對應(yīng)的深層信念網(wǎng)絡(luò)的跨模態(tài)檢索方法

有效

• 申請?zhí)枺?/td>: 201410797791.5
• 申請日: 2014-12-18
• 公開（公告）號: CN104462485B
• 公開（公告）日: 2017-12-05
• 發(fā)明（設(shè)計）人: 李睿凡;蘆效峰;魯鵬;馮方向;李蕾;劉詠彬;王小捷
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司11018
• 代理人: 謝安昆,宋志強

1.一種基于對應(yīng)的深層信念網(wǎng)絡(luò)的跨模態(tài)檢索方法，其特征在于，該方法包括：

利用特征提取方法分別獲得檢索目標與檢索庫中每一個檢索成員的初級向量；

將所述檢索目標和所述檢索庫中每一個檢索成員分別作為第一模態(tài)和第二模態(tài)，將所述檢索目標的初級向量分別與所述檢索庫中該檢索成員的初級向量作為一個組合，通過對應(yīng)的深層信念網(wǎng)絡(luò)對組合中的所述檢索目標的初級向量和該檢索成員的初級向量進行處理，獲得所述檢索目標的高級向量和該檢索成員的高級向量；

利用所述檢索目標的高級向量和所述檢索庫中每一個檢索成員的高級向量計算所述檢索目標與所述檢索庫中每一個檢索成員的距離；

將所述檢索庫中與所述檢索目標距離最近的至少一個檢索成員確定為與所述檢索目標匹配的對象。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對應(yīng)的深層信念網(wǎng)絡(luò)Corr-DBN的非頂層為至少一層雙受限波爾茲曼機RBM結(jié)構(gòu)，頂層為對應(yīng)的受限波爾茲曼機Corr-RBM結(jié)構(gòu)，所述雙RBM包括相互獨立的第一模態(tài)RBM和第二模態(tài)RBM，所述Corr-RBM包括具有相關(guān)性約束的第一模態(tài)Corr-RBM和第二模態(tài)Corr-RBM。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一模態(tài)Corr-RBM與所述第二模態(tài)Corr-RBM包含有相同的可見層神經(jīng)單元數(shù)目，所述第一模態(tài)Corr-RBM與所述第二模態(tài)Corr-RBM包含有相同的隱藏層神經(jīng)單元數(shù)目，所述第一模態(tài)Corr-RBM與所述第二模態(tài)Corr-RBM的隱藏層之間具有相關(guān)性約束。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，該方法進一步包括：

所述Corr-RBM的配置參數(shù)Θ＝{W^I,C^I,B^I,W^T,C^T,B^T}，其中，上標I表示第一模態(tài)，上標T表示第二模態(tài)，具體地，W^I為第一模態(tài)Corr-RBM的各可見層神經(jīng)單元與隱藏層神經(jīng)單元之間的連接權(quán)值參數(shù)集合，C^I為第一模態(tài)Corr-RBM的可見層神經(jīng)單元偏置參數(shù)集合，B^I為第一模態(tài)Corr-RBM的隱藏層神經(jīng)單元偏置參數(shù)集合，W^T為第二模態(tài)Corr-RBM的各可見層神經(jīng)單元與隱藏層神經(jīng)單元之間的連接權(quán)值參數(shù)集合，C^T為第二模態(tài)Corr-RBM的可見層神經(jīng)單元偏置參數(shù)集合，B^T為第二模態(tài)Corr-RBM的隱藏層神經(jīng)單元偏置參數(shù)集合；

所述Corr-RBM的配置參數(shù)Θ為令目標函數(shù)Q＝l_D+αl_I+βl_T最小的配置參數(shù)，且

其中，l_D為第一模態(tài)與第二模態(tài)在嵌套空間上的距離，l_I為第一模態(tài)的負對數(shù)似然函數(shù)，l_T為第二模態(tài)的負對數(shù)似然函數(shù)，α和β是常數(shù)，且α∈(0,1)，β∈(0,1)；f_I(·)是第一模態(tài)Corr-RBM可見層到隱藏層的映射函數(shù)，f_T(·)和第二模態(tài)Corr-RBM可見層到隱藏層的映射函數(shù)；p_I(·)為第一模態(tài)Corr-RBM可見層和隱藏層神經(jīng)單元的聯(lián)合概率分布，p_T(·)為第二模態(tài)Corr-RBM可見層和隱藏層神經(jīng)單元的聯(lián)合概率分布；||·||為二范數(shù)映射。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)目標函數(shù)Q確定Θ的算法為：

A、第一模態(tài)Corr-RBM的可見層神經(jīng)單元與隱藏層神經(jīng)單元之間的連接權(quán)值參數(shù)集合可見層神經(jīng)單元的偏置和隱藏層神經(jīng)單元的偏置用θ^I統(tǒng)一表示，根據(jù)公式θ^I←θ^I+τ·α·△θ^I進行更新，其中τ為學(xué)習(xí)速率，且τ∈(0,1)；α∈(0,1)；并且，

ΔωijI=τ·∂log p(viI)∂ωijI=τ·(<viI·hjI>data-<viI·hjI>model);]]>

ΔbiI=τ·∂log p(viI)∂hjI=τ·(<hjI>data-<hjI>model);]]>

ΔcjI=τ·∂log p(viI)∂cjI=τ·(<viI>data-<viI>model);]]>

其中，<·>_data為經(jīng)驗分布下的數(shù)學(xué)期望，<·>_model為模型分布下的數(shù)學(xué)期望；

B、第二模態(tài)Corr-RBM的可見層神經(jīng)單元與隱藏層神經(jīng)單元之間的連接權(quán)值參數(shù)集合可見層神經(jīng)單元的偏置和隱藏層神經(jīng)單元的偏置用θ^T統(tǒng)一表示，根據(jù)公式θ^T←θ^T+τ·β·△θ^T進行更新，其中，β∈(0,1)；并且，

ΔωijT=τ·∂log p(viT)∂ωijT=τ·(<viT·hjT>data-<viT·hjT>model);]]>

ΔbiT=τ·∂log p(viT)∂hjT=τ·(<hjT>data-<hjT>model);]]>

ΔcjT=τ·∂log p(viT)∂cjT=τ·(<viT>data-<viT>model);]]>

C、根據(jù)以下公式使用梯度下降的方法更新l_D：

ωijI←ωijI-τ·(hjT-hjI)·δ′(hjI)·viI;]]>

biI←biI-τ·(hjT-hjI)·δ′(hjI);]]>

ωijT←ωijT-τ·(hjI-hjT)·δ′(hjT)·viT;]]>

biT←biT-τ·(hjI-hjT)·δ′(hjT);]]>

其中，δ'(·)＝δ(·)(1-δ(·))，且δ(·)為Logistic激活函數(shù)δ(x)＝1/(1+exp(-x))；重復(fù)步驟A～C，直至該算法收斂。