[發明專利]一種基于子空間混合超圖學習的交叉模態檢索方法

有效

• 申請號: 201710116758.5
• 申請日: 2017-03-02
• 公開（公告）號: CN106886601B
• 公開（公告）日: 2018-09-04
• 發明（設計）人: 陳志奎;鐘芳明;鐘華;魯飛
• 申請（專利權）人: 大連理工大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

1.一種基于子空間混合超圖學習的交叉模態檢索方法，其特征在于，步驟如下：

步驟1、基于典型相關性分析的公共子空間學習

在多媒體數據中，一個目標物體的多種表現形式構成多媒體的多模態數據表示；多模態數據圖像和文本間由于存在著異構差異性，因此，二者的相似度不能直接度量；為方便圖像和文本的相似度度量，將圖像和文本映射到相同維度的公共子空間下，利用典型相關性分析CCA來學習多模態數據的公共子空間；

令表示圖像和文本的集合，表示圖像特征，表示文本特征，由于兩種數據類型之間的異構差異性，會使d₁≠d₂；對于一個文本和圖像對，即x_i和y_i，CCA通過最大化相關系數進行投影矩陣的學習；公共子空間投影數據表示為和其中最大化關系表示如公式(1)：

其中，Σ_xx和Σ_yy分別是圖像和文本單模態內部協方差矩陣，Σ_xy＝Σ_yx是圖像和文本模態間的協方差矩陣，W_x,W_y分別是圖像和文本的投影矩陣；最終的目標函數表示如公式(2)，通過優化公式(2)獲得投影矩陣，便將原始空間的多模態數據映射到公共子空間中，進行相似度度量；

因此對于交叉模態數據集中的每一對圖像和文本在公共子空間中的投影表示為經過CCA投影之后，圖像的特征表示為文本的特征表示為如此兩種模態數據的特征就處在同一空間下，并且維度相同，進行距離的度量；為了方便區分，給投影之后的數據重新命名，令用表示在子空間中的圖像和文本特征，他們將被用于混合超圖學習以及交叉模態檢索；

通過公共子空間的學習，將異構的多模態數據映射到同一公共子空間下，消除了異構差異性，同時CCA最大化保留了交叉模態樣本對之間的關聯性，應用于交叉模態檢索；

步驟2、計算模態內部和模態間相似度

利用超圖學習多模態樣本之間的相關性，構建超圖的首要步驟就是構建超邊；首先計算樣本相似度，然后利用相似度矩陣獲得樣本的k個最近的鄰居構成超邊；然而當前已有的跨模態檢索方法只考慮模態間的相似度，忽略了模態內部的相似度，因此，為了提高跨模態檢索準確率，額外考慮了模態內部相似度，通過模態內部的鄰居分布信息，補充完善樣本的關聯性度量；

1)模態內部相似度

構建圖像模態內部相似度，將直接通過跨模態返回的相似度高的圖像也作為跨模態檢索結果返回；

將公共子空間下的多模態數據樣本看成一個頂點，即將x′_i當做頂點v_i，那么模態x′內部數據x′_i和x′_j之間的相似度S_xx(i,j)可以表示為公式(3)：

其中，σ是所有頂點間距離的中值；對于模態y′內部的相似度計算公式與公式(3)相同；

2)模態間相似度

模態間的相似度，通過公共子空間學習后，被映射到公共子空間中的兩個模態之間的相似度矩陣計算公式與公式(3)相同，但是其中的v_i∈x′,v_j∈y′；

步驟3、計算混合鄰接矩陣

為了構建混合超圖模型，首先建立組合相似度矩陣，同時考慮模態間的相似度和模態內部的相似度，給定查詢來自模態x′，返回結果為模態y′的情況下，組合相似度矩陣S_x的計算公式見公式(4)所示：

S_x＝θ*S_yy+(1-θ)*S_xy (4)

其中θ是平衡參數，均衡模態內部相似度和模態間相似度的貢獻度；S_yy是模態y′內部的相似度，S_xy是模態間相似度；

同樣的對于給定查詢來自y′，返回結果為x′的情況下，組合相似度矩陣S_y的計算公式見公式(5)所示：

S_y＝θ*S_xx+(1-θ)*S_yx (5)

其中θ是平衡參數，S_xx是模態x′內部的相似度，是模態間相似度；

步驟4、構建超圖

超圖中的一條邊連接的節點數量大于等于2，超邊是由多個頂點構成的，使得超圖嵌入了頂點間的高階關系，而不僅僅是兩個節點之間的關系；令G＝(V,E,w)表示一個超圖，其中V表示頂點集，E表示超邊的集合，w表示超邊的權重向量；用一個關系矩陣來描述一個超圖，關系矩陣的元素表示為H(v,e)，如果v∈e，也就是該頂點屬于一條超邊，則置為1，否則為0，即H(v,e)＝0；

采用K-NN方法構造超圖模型；利用步驟3計算得到的組合相似度矩陣，分別計算每一個樣本的k個鄰居，并且通過鄰居關系構造關系矩陣H；將超邊的數量設置為樣本點的數量，每一條超邊對應一個頂點以及其k個最近的鄰居，將這些點的對應H的元素設置為1；當所有點的鄰居查找完畢后，就構成了一個完整的關系矩陣；

超圖中除了頂點、邊之外，還有一個非常重要的參數，即邊的權重；其中的每一條超邊權重的計算公式如式(6)所示：

其中S是組合相似度矩陣；當利用文本檢索圖像時S＝S_y，利用圖像檢索文本時S＝S_x；

步驟5、基于超圖學習的交叉模態檢索、重排序

基于超圖的關系矩陣H，定義頂點v∈V的度為d(v)，超邊e∈E的度為δ(e)，其中d(v)＝∑_e∈Ew(e)H(v,e)，δ(e)＝∑_v∈VH(v,e)；令D_v，D_e分別表示對角矩陣，其中對角線上的元素分別為頂點的度和超邊的度，W同樣表示一個對角矩陣，其對角元素為超邊權重值；

定義超圖學習的目標函數，如式(7)所示：

其中，f表示檢索目標的排序分數向量，μ是平衡參數；通過優化目標函數(7)求得f；

令得到超圖拉普拉斯Δ＝I-Θ，正則化的目標函數則重新表示成式(8)所示：

Ω(f)＝f^TΔf+μ(f-y)^T(f-y) (8)

通過對Ω(f)求導得：

通過式(9)便能夠求得跨模態的檢索結果；

通過輸入不同的查詢樣本，對獲得的跨模態檢索的結果f進行重排序，從而獲取與輸入查詢最相關的另一個模態的樣本。