[發明專利]基于多模型網絡的細粒度跨媒體檢索方法

在審

• 申請號: 202010526211.4
• 申請日: 2020-06-09
• 公開（公告）號: CN111782833A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 王瓊;柏潔咪;姚亞洲;唐振民
• 申請（專利權）人: 南京理工大學
• 主分類號: G06F16/483
• 分類號: G06F16/483;G06K9/62;G06N3/04;G06N3/08;G06F40/284;G06F17/14
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 岑丹

本發明公開了一種基于多模型網絡的細粒度跨媒體檢索方法，包括：獲取跨媒體數據集，對跨媒體數據集進行預處理獲取跨媒體數據；分別提取各媒體數據的專有特征；提取各媒體數據的公共特征；對跨媒體數據的專有特征和公共特征進行加權求和，獲取最終的聯合特征；利用余弦距離測量不同媒體特征之間的相似度并按相似度對媒體特征進行排序。本發明構建了媒體專有網絡和公共網絡，媒體專有網絡包含各媒體的特征提取器用于提取各媒體的專有特征；公共網絡包含能同時學習四種媒體的統一的網絡用于提取各媒體的公共特征，兩種網絡的結合實現了在最大限度保留各媒體特征的同時消除各媒體間的異構鴻溝，從而實現有效的跨媒體檢索，具有廣闊的應用前景。

技術領域

本發明屬于計算機視覺、自然語言處理、細粒度識別、多媒體檢索等技術領域，具體為一種基于多模型網的細粒度跨媒體檢索方法。

背景技術

近年來，隨著多媒體數據的快速增長，圖像、文本、音頻和視頻等多媒體數據已經成為了人們認識世界的主要形式。人們對多媒體數據的研究已經持續了好幾年，過去的研究通常集中在單一的媒體類型上，即查詢和檢索的結果同屬于一種媒體類型。目前，海量的多媒體數據之間的相關性在不斷提高，同時用戶對多媒體數據的檢索需求也變得非常靈活，不止滿足于單一媒體類型檢索，因此如何實現跨媒體檢索是目前需要解決的關鍵問題?？缑襟w檢索是指用戶可以通過提交某一種媒體類型數據，返回用戶想要的其他媒體類型的相關數據。如當用戶當前有一張紅鳥科的照片，但不知道照片內容的類別名，可以提交該紅鳥科的圖片，就會返回紅鳥科相關的視頻、文本和音頻信息。但現有跨媒體檢索一般是聚焦在粗粒度級別上，對細粒度級別上的研究很少。粗粒度級別是對大類而言(如鳥、狗、貓等)，而細粒度級別則關注的是某大類的子類(如灰翅鷗、紅鳥科等)。在一般的粗粒度檢索方法中，當用戶提交紅鳥科的圖片進行檢索時，返回的是鳥類的音頻、視頻和文本，而不是該紅鳥科類別相關的信息，這不符合人們的需求。基于上述問題，研究細粒度級別的跨媒體檢索方法有著廣泛的現實意義。

目前，針對細粒度的跨媒體檢索的研究還存在一些不足，其中最主要的問題有兩點，一是媒體間的異構鴻溝問題，即不同媒體類型的數據樣本的特征表示差別巨大，因此直接度量它們之間的相似性是一個非常困難的問題。另一個問題是現有的研究沒有充分考慮細粒度級別導致的類間差異小(不同的細粒度類別間很相似，如灰翅鷗、紅鳥科)、類內差異大(同一類別的物體又因為姿勢光照等差異明顯)問題，該問題使得細粒度級別檢索相對于粗粒度級別更加具有挑戰性。

發明內容

本發明的目的在于提供一種基于多模型網絡的細粒度跨媒體檢索方法。

實現本發明目的的技術解決方案為：一種基于多模型網絡的細粒度跨媒體檢索方法，具體步驟為：

步驟1、獲取跨媒體數據集，對跨媒體數據集進行預處理獲取跨媒體數據；

步驟2、分別提取各媒體數據的專有特征；

步驟3、提取各媒體數據的公共特征；

步驟4、對跨媒體數據的專有特征和公共特征進行加權求和，獲取最終的聯合特征；

步驟5、利用余弦距離測量不同媒體特征之間的相似度并按相似度對媒體特征進行排序。

優選地，所述跨媒體數據包括圖像、視頻、文本和音頻數據。

優選地，步驟2中分別提取各媒體數據的專有特征的具體方法為：

采用基于雙線性CNN的特征提取器提取圖像和視頻數據特征；

采用word2vec模型對詞向量進行預訓練，采用基于注意力的雙向長短期網絡的特征提取器提取文本數據特征；

采用基于VGG的特征提取器提取音頻數據特征。

優選地，采用基于雙線性CNN的特征提取器提取圖像和視頻數據特征的具體過程為：