[發明專利]一種基于多視角對稱非負矩陣分解的跨模態信息檢索方法

在審

• 申請號: 202010002486.8
• 申請日: 2020-01-02
• 公開（公告）號: CN111177492A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 馬園園;李勇
• 申請（專利權）人: 安陽師范學院
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F17/15;G06F17/16
• 代理公司: 西安研創天下知識產權代理事務所(普通合伙) 61239
• 代理人: 白志杰

本發明公開了一種基于多視角對稱非負矩陣分解的跨模態信息檢索方法，包括多視角對稱非負矩陣分解模型、求解多視角對稱非負矩陣分解模型和獲得新文本或圖像在子空間中的表示三個步驟，通過利用Multi?view SNMF目標函數O_bj、低維子空間表示H^*和聚類指示矩陣H⁽ⁱ⁾，針對多個模態特征信息的聯合建模，通過將不同模態的數據映射到相關子空間，進而建立跨越資源形態差異的聯系，以實現信息在不同模態空間中的轉換和存取；相較于CCA、PLSR等多元統計方法和以SM為代表的語義匹配方法，本算法在多個指標上具有顯著的有益效果，并且本方法具有更好的靈活性和普適性，易拓展到具有非線性關系的復雜應用和任務中。

技術領域

本發明屬于跨媒體相關性學習技術領域，具體涉及一種基于多視角對稱非負矩陣分解的跨模態信息檢索方法。

背景技術

隨著信息技術的快速發展，信息多元化程度日益加劇，海量、異構的信息資源與日俱增，呈現出多種模態(Modal)并存的現象，如在描述某一新聞事件時，往往會在文字周圍配以相關的圖片，以及音頻、視頻片段、文字、圖片、音頻或視頻屬于不同模態的信息，它們共同闡釋了同一信息內容，這些不同表現形式的信息對傳統信息檢索技術提出了新的挑戰.在傳統信息檢索任務中，文本或圖像檢索是在同形態空間內進行的，即“以文搜文”、“以圖搜圖”，然而，用戶需求是多元化的，當輸入一幅圖片時有時會希望系統返回與其相關的文字介紹，該類檢索可歸結為“如何解決不同模態空間之間信息資源的相互檢索”問題；

目前，基于多種形態空間的檢索系統可分為兩種：多模態檢索(Multimodal)和跨模態檢索(Cross-modal)，在多模態檢索任務中，查詢通常采用多個模態的形式，如文本+圖片，檢索集也以這兩種形式的組合呈現，雖然多模態檢索是在不同的模態空間中完成的，但其本質仍然是基于單模態方法的拓展，如將不同模態的表示矩陣通過拼接融合成一個“新”的表示，然后對這個表示進行降維，最后在生成的子空間中執行檢索，該方法的弊端在于缺乏模態之間信息的有效交互，不能對其中任意一種模態的信息進行存取。

發明內容

為了克服上述現有技術存在的缺陷，本申請的目的在于提供一種基于多視角對稱非負矩陣分解的跨模態信息檢索方法，通過將不同模態的數據映射到相關子空間，進而建立跨越資源形態差異的聯系，以實現信息在不同模態空間中的轉換和存取，具有更好的靈活性和普適性，易拓展到具有非線性關系的復雜應用和任務中。

為了實現上述目的，本發明所采用的技術方案如下：

一種基于多視角對稱非負矩陣分解的跨模態信息檢索方法，具體過程包括以下步驟：

步驟一：提出多視角非負矩陣分解模型，具體來說，假設各視角間存在一致的聚類模式，給定多視角數據矩陣X⁽¹⁾∈R^f×n，X⁽²⁾∈R^p×n，利用對稱非負矩陣分解(Symmetricnonnegative matrix factorization,SNMF)方法分別分解矩陣X⁽¹⁾、X⁽²⁾，得到的聚類解都趨于一致的聚類模式；由此產生多視角非負矩陣分解的目標函數O_bj；

步驟二：求解多視角對稱非負矩陣分解模型(Multi-view Symmetricnonnegative matrix factorization,Multi-view SNMF)，具體來說，采用迭代更新方法對步驟一產生的目標函數進行求解，得到各視角共享的一致的低維子空間表示H^*的更新規則；

步驟三：基于多視角對稱非負矩陣分解的跨模態檢索方法，具體是對步驟二計算出的H^*進行分析計算，所述H^*反映了多個視角數據潛在的一致結構模式，通過H^*獲得新文本或圖像在子空間中的表示，在變換后的子空間中進行跨模態檢索。