[發明專利]基于隱空間學習和雙向排序學習的跨媒體排序方法

有效

• 申請號: 201310410565.2
• 申請日: 2013-09-10
• 公開（公告）號: CN103559191A
• 公開（公告）日: 2014-02-05
• 發明（設計）人: 吳飛;湯斯亮;盧鑫炎;邵健;莊越挺
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 張法高

1.一種基于隱空間學習和雙向排序學習的跨媒體排序方法，其特征在于包括如下步驟：

1)將文本檢索圖像的排序樣本和圖像檢索文本的排序樣本統一構建為訓練樣本；

2)對構建得到的訓練樣本進行基于隱空間學習和雙向排序學習的跨媒體排序學習，得到多媒體語義空間以及跨媒體排序模型；

3)使用學習得到的跨媒體排序模型進行跨媒體排序：用戶提交查詢例子后，首先找到該查詢例子在多媒體語義空間的坐標，然后根據跨媒體對象在多媒體語義空間內的坐標，計算查詢例子與其他所有跨媒體對象在多媒體語義空間的相似度，并根據該相似度，對所有跨媒體對象進行排序。

2.根據權利要求1所述的一種基于隱空間學習和雙向排序學習的跨媒體排序方法，其特征在于，所述的步驟1)包括：

1)對訓練樣本里的所有文本文檔利用詞袋模型進行特征表達，并利用TF-IDF方法對每個單詞進行加權，文本最終被表示為t∈R^m，其中m為文本空間的維數；

2)對訓練樣本里的所有圖像文檔提取SIFT局部特征點，并對這些局部特征點進行K-Means聚類，用聚類中心構建碼本以及視覺單詞。然后對每張圖片，通過歐氏距離最近鄰計算該圖片的每個局部特征點應該屬于碼本里的哪一個視覺單詞，最后和對文本文檔的處理一樣，利用詞袋模型和TF-IDF方法進行特征表達，圖像最終被表示為p∈Rⁿ，其中n為圖像空間的維數；

3)對文本檢索圖像方向而言，對每一個查詢文本，構建一個圖像的排序列表，其中列表中的圖像被標記為查詢語義相關或者語義不相關，因此每個文本檢索圖像的訓練樣本被表示為三元組其中N為訓練樣本個數，t_i為檢索文本，p_i為圖像集合，是圖像集合上的排序，y表示整個排序空間；

4)對圖像檢索文本方向而言，對每一個查詢圖像，構建一個文本文檔的排序列表，其中列表中的文本文檔被標記為查詢語義相關或者語義不相關，每個圖像檢索文本的訓練樣本被表示為三元組M為訓練樣本個數，p_j為檢索圖像，t_j是文本文檔集合，是文本文檔集合上的排序；

5)將兩個方向上的查詢列表合并起來得到統一的訓練樣本。

3.根據權利要求1所述的一種基于隱空間學習和雙向排序學習的跨媒體排序方法，其特征在于，所述的步驟2)包括：

1)使用結構支持向量機構建一個優化問題，其目標函數是使得映射函數在結構風險和經驗風險之間取得折中：

minU,V,ξ1,ξ2λ2||U||F2+λ2||V||F2+1NΣi=1Nξ1,i+1MΣj=N+1N+Mξ2,js.t.∀i∈{1,...,N},∀y∈y:δF(ti,pi,y)≥Δ(yi*,y)-ξ1,i∀j∈{N+1,...,N+M},∀y∈y:δF(pj,tj,y)≥Δ(yj*,y)-ξ2,j.---(1)]]>

其中，是將文本映射到隱空間的映射矩陣，是將圖像映射到隱空間的映射矩陣，k是隱空間的維數，ξ_1，i和ξ_2，j是松弛變量。定義的函數F如下：

F(t,p,y)=Σi∈p+Σj∈p-yij(Ut)TV(pi-pj)|p+|·|p-|---(2)]]>

δF(ti,pi,y)=F(ti,pi,yi*)-F(ti,pi,y)---(3)]]>

F(p,t,y)=Σi∈t+Σj∈t-yij(Vp)TU(ti-tj)|t+|·|t-|---(4)]]>

δF(pj,tj,y)=F(pj,tj,yj*)-F(pj,tj,y)---(5)]]>

其中，p⁺和p^-分別表示與查詢文本t相關的圖像集合和與查詢文本t不相關的圖像集合，t⁺和t^-分別表示與查詢圖像p相關的文本集合，與查詢圖像p不相關的文本集合。y_ij的值根據排序y來決定：如果文檔i比文檔j的排序靠前，則y_ij=1,否則y_ij=-1。此外，定義損失函數為Δ(y^*，y)=1-MAP(y^*，y)，MAP是Mean?Average?Precision，一種信息檢索里常用的性能測量標準，MAP值越大，排序性能越好，損失函數的值就越小；

2)輸入雙向的排序樣本作為優化問題的訓練樣本，求解得到參數U和V。

4.根據權利要求1所述的一種基于隱空間學習和雙向排序學習的跨媒體排序方法，其特征在于，所述的步驟3)包括：

1)對輸入為文本查詢樣本t的情況下，對所有圖像p_i根據以下公式計算其與查詢樣本的相似度：f(t，p_i)=(Ut)^TVp_i，然后按相似度從大到小對圖像進行排序；

2)對輸入為圖像查詢樣本p的情況下，對所有文本文檔t_i根據以下公式計算其與查詢樣本的相似度：f(t_i，p)=(Ut_i)^TVp，然后按相似度從大到小對文本文檔進行排序。