[發(fā)明專利]一種基于子空間學習與半監(jiān)督正則化的跨媒體檢索方法

有效

• 申請?zhí)枺?/td>: 201810159590.0
• 申請日: 2018-02-26
• 公開（公告）號: CN108388639B
• 公開（公告）日: 2022-02-15
• 發(fā)明（設計）人: 張鴻;代剛
• 申請（專利權）人: 武漢科技大學
• 主分類號: G06F16/483
• 分類號: G06F16/483;G06F16/48;G06F16/43
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 馮子玲

1.一種基于子空間學習與半監(jiān)督正則化的跨媒體檢索方法，其特征在于，包括步驟：

步驟一，建立多媒體數據庫，

收集多媒體原始數據；提取多媒體數據的特征；保存多媒體數據的特征向量和原始數據；

步驟二，獲得不同媒體類型的投影矩陣，

定義最優(yōu)化目標函數；利用迭代方法求解最優(yōu)化目標函數；投影多媒體數據的特征向量到共同空間,

定義最優(yōu)化目標函數的方法如下：

最優(yōu)化目標函數包括四個組成部分，最優(yōu)化目標函數的第一個組成部分：

其中，表示第i種媒體的有標簽數據的特征向量構成的矩陣，其中是第i種媒體的第p個樣本數據的特征向量，n⁽ⁱ⁾是第i種媒體有標簽數據的數量，d⁽ⁱ⁾是第i種媒體的每個樣本數據對應的特征向量的維度；是第i種媒體類型的投影矩陣；表示第i種媒體有標簽數據對應的標簽向量構成的矩陣，c為多媒體數據庫中語義類別的數量，是第i種媒體的第p個樣本數據所對應的標簽向量，s是多媒體數據庫中媒體類型的數量，α是一個正的常量參數，||Z||_F是矩陣Z的Frobenius范數，

最優(yōu)化目標函數的第二個組成部分，該部分的第一項由不同媒體數據中相同語義類別數據之間的歐式距離組成，該部分的第二項由不同媒體數據中不同語義類別數據之間的歐式距離組成，第二個組成部分定義如下：

其中和是第i種媒體和第j種媒體中包含mij對有著相同標簽數據的特征向量構成的矩陣，和是第i種媒體和第j種媒體中包含dij對有著不同標簽數據的特征向量構成的矩陣，ε和μ為兩個正的常量參數，用來平衡式(2)，如果將式(2)最小化，則是在最小化不同媒體數據中相同語義類別數據之間的歐式距離并且最大化不同媒體數據中不同語義類別數據之間的歐式距離，

最優(yōu)化目標函數的第三個組成部分，在給出第三個組成部分之前，先構建跨媒體近鄰圖，對于每種媒體，分別構建它們的近鄰圖，并且構建近鄰圖的方式是一樣的，對于每種媒體，用G⁽ⁱ⁾＝(V⁽ⁱ⁾,E⁽ⁱ⁾)表示第i種媒體的近鄰圖，V⁽ⁱ⁾表示第i種媒體近鄰圖中的頂點，這些頂點由在多媒體數據庫中第i種媒體有標簽和無標簽數據通過投影獲得的投影向量構成，并且一個投影向量表示一個頂點，每種媒體數據投影向量的維度是相同的，E⁽ⁱ⁾表示這些頂點的邊，

計算跨媒體近鄰圖G⁽ⁱ⁾＝(V⁽ⁱ⁾,E⁽ⁱ⁾)對應的權重矩陣其中中的i表示第i種媒體，p表示權重矩陣W⁽ⁱ⁾的第p行，q表示權重矩陣W⁽ⁱ⁾的第q列，表示第i種媒體對應的權重矩陣W⁽ⁱ⁾的第p行、第q列上的元素值，的定義如下：

其中表示第i種媒體的第q個樣本數據的特征向量的投影向量，表示的k近鄰，

接著給出最優(yōu)化目標函數的第三個組成部分，該部分考慮了在多媒體數據庫中有標簽和無標簽媒體數據投影點的近鄰關系，定義如下：

其中，a(i)＝n⁽ⁱ⁾+m⁽ⁱ⁾為多媒體數據庫中第i種媒體有標簽和無標簽數據的數量，是一個圖的歸一化拉普拉斯矩陣，I是一個單位矩陣，D⁽ⁱ⁾是一個對角矩陣且對角線上的元素值為權重矩陣W⁽ⁱ⁾相應行上的元素值之和，為D⁽ⁱ⁾對角線上的第p個元素值，是由第i種媒體有標簽和無標簽數據投影后的向量組成，是由第i種媒體的有標簽數據和無標簽數據的特征向量組成，tr(Z)表示矩陣Z的跡，λ是一個正的常量參數，

最優(yōu)化目標函數的第四個組成部分，該部分為避免過擬合的正則化項，定義如下：

其中P⁽ⁱ⁾為第i種媒體類型的投影矩陣，β為正則化項的參數，

介紹完最優(yōu)化目標函數的四大組成部分，那么將這四大組成部分結合起來構成最優(yōu)化目標函數，如下：

式(6)是由式(1)、(2)、(4)、(5)組合而成，求解式(6)獲得每種媒體最優(yōu)的投影矩陣P⁽ⁱ⁾(i＝1,2,...,s)，將公式(6)中的式子記為Ω，直接用Ω對P⁽ⁱ⁾求偏導并讓其置為0，得到如下結果：

然后將式(7)的等式整理獲得如下：

接著通過迭代的方法找到最優(yōu)的投影矩陣P⁽ⁱ⁾(i＝1,2,...,s)；

步驟三，進行跨媒體檢索，

提取用戶提交的媒體數據的特征；投影該媒體數據的特征向量到共同空間中；計算該投影后的向量與共同空間中的其他向量之間的相似度；返回與之相似度最大的前k個特征向量所對應媒體數據。