[發明專利]一種基于多視角對稱非負矩陣分解的跨模態信息檢索方法

在審

• 申請號: 202010002486.8
• 申請日: 2020-01-02
• 公開（公告）號: CN111177492A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 馬園園;李勇
• 申請（專利權）人: 安陽師范學院
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F17/15;G06F17/16
• 代理公司: 西安研創天下知識產權代理事務所(普通合伙) 61239
• 代理人: 白志杰

1.一種基于多視角對稱非負矩陣分解的跨模態信息檢索方法，其特征在于：具體過程包括以下步驟：

步驟一：提出多視角非負矩陣分解模型，假設各視角間存在一致的聚類模式，給定多視角數據矩陣X⁽¹⁾∈R^f×n，X⁽²⁾∈R^p×n，利用對稱非負矩陣分解方法分別分解矩陣X⁽¹⁾、X⁽²⁾，得到的聚類解都趨于一致的聚類模式；由此產生多視角非負矩陣分解的目標函數O_bj；

步驟二：求解多視角對稱非負矩陣分解模型，采用迭代更新方法對步驟一產生的目標函數進行求解，得到各視角共享的一致的低維子空間表示H^*的更新規則；

步驟三：基于多視角對稱非負矩陣分解的跨模態檢索方法，具體是對步驟二計算出的H^*進行分析計算，所述H^*反映了多個視角數據潛在的一致結構模式，通過H^*獲得新文本或圖像在子空間中的表示，在變換后的子空間中進行跨模態檢索。

2.根據權利要求1所述的一種基于多視角對稱非負矩陣分解的跨模態信息檢索方法，其特征在于：步驟一中所述得到Multi-view SNMF目標函數定義的具體過程為：

S1.給定數據矩陣SNMF首先構建n×n的樣本相似矩陣相似性采用高斯核函數來刻畫：

其中：矩陣為m×n的具體模態，n為實例數，m為特征數，σ_i為第i個實例與其第7個鄰居之間的歐式距離，σ_j為第j個實例與其第7個鄰居之間的歐式距離，x_i為第i個實例，x_j為第j個實例，E_ij為第i個實例與第j個實例之間的相似性，通過公式(1)可獲得任意兩個節點之間的相似性值；

S2.當遇到數據量大的時候，無法通過S1獲得任意兩個節點之間的距離，采用：

其中：N_(i)＝{j:X_j是X_i的q近鄰，j≠i}，表示距離實例i的最近的q個鄰居；N_(j)＝{i:X_i是X_j的q近鄰，j≠i}，表示距離實例j最近的q鄰居，q為近鄰數，為重新計算而獲取的兩個實例i，j之間的相似性；

S3.在獲得后，對其標準化，得到：

其中：1≤i≤n為節點i的強度，1≤j≤n為節點j的強度；為矩陣中第i行第l列個元素；為矩陣中第j行第l列個元素；

S4.在獲得相似矩陣A后，由SNMF目標函數

可得出分解后的聚類指示矩陣然后對其執行簡單的Kmeans聚類以獲得每個實例的類別；

其中：H^T為矩陣H的轉置，||·||_F為矩陣的Frobenius范式；

S5.利用各視角具有一致的聚類模式的假設，給定多視角數據矩陣X⁽¹⁾∈R^f×n，X⁽²⁾∈R^p×n，第i個視角的相似矩陣用A⁽ⁱ⁾∈R^n×n表示；根據S4 Multi-view SNMF的目標函數可定義為：

其中：為輔助矩陣，n為實例數，f、p為特征數，H^*代表各視角一致的聚類模式，H⁽ⁱ⁾為第i個視角的聚類指示矩陣，n_v為視角的個數，λ⁽ⁱ⁾為第i個視角的權重參數,H_l,1⁽ⁱ⁾為矩陣H⁽ⁱ⁾的第l行第1列相應的元素，H_l,2⁽ⁱ⁾為第l行第2列相應的元素，H_l,k⁽ⁱ⁾為第l行第k列相應的元素；

S6.為最小化等式(5)，采用迭代更新方法，求解得到H⁽ⁱ⁾與H^*的更新規則如下：

因各視角的數據矩陣在分解過程中是獨立的，因此在等式(6)中用H代替H⁽ⁱ⁾，其中Q^T是相應視角輔助矩陣的轉置，H_i,k代表獲得的聚類指示矩陣H的第ik個元素。