[發明專利]利用標簽層次信息的多媒體數據跨模態檢索方法及系統

有效

• 申請號: 202010771701.0
• 申請日: 2020-08-04
• 公開（公告）號: CN111930972B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 羅昕;詹雨薇;許信順
• 申請（專利權）人: 山東大學
• 主分類號: G06F16/432
• 分類號: G06F16/432;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了利用標簽層次信息的多媒體數據跨模態檢索方法及系統，包括：獲取待檢索的第一模態多媒體數據；對待檢索的第一模態多媒體數據進行特征提取，得到第一哈希碼；將第一哈希碼與預存儲的第二模態的所有多媒體數據對應的已知哈希碼進行距離計算；選擇距離最近的若干個哈希碼對應的第二模態的多媒體數據，作為檢索結果輸出。

技術領域

本申請涉及跨媒體檢索技術領域，特別是涉及利用標簽層次信息的多媒體數據跨模態檢索方法及系統。

背景技術

本部分的陳述僅僅是提到了與本申請相關的背景技術，并不必然構成現有技術。

隨著多媒體數據的爆發式增長，數據通常被以多種模態來表示，例如圖像和文本等。面對海量數據，通常需要進行快速的相似性比較，這是管理和使用數據的基礎操作。因此，快速跨模態檢索的需求越來越大。為了滿足這一需求，使用一種模態的數據來檢索另一種模態內相似樣本的跨模態哈希方法相繼被提出。

跨模態哈希學習屬于哈希學習，且具有哈希學習的優點。哈希學習方法是當前存儲或檢索大規模數據最流行的方法之一。哈希學習方法的主要思想是設計一種通過學習得到的哈希函數，它可以將數據從原始的高維特征空間中的數據表示變換成低維漢明空間中的二進制編碼表示。通過這種變換，可以達到降維的目的，可以有效縮減空間消耗；在達到維數降低目的的同時，哈希函數會保持數據之間的相似性。此外，將數據表示成二進制編碼的形式，還可以獲得快速檢索的優勢，因為計算機在處理二進制編碼間的兩兩比較有很高的效率，所以可以使檢索的速度變得很快。

現有的跨模態哈希學習方法可以有多種劃分方法。比如，可以依據是否能夠利用數據的監督信息而分為無監督跨模態哈希和有監督跨模態哈希。相較于無監督跨模態哈希方法，監督的跨模態哈希模型可以利用語義信息，因此其學到的哈希函數可以生成質量更高的數據哈希碼的表示。比如，根據方法是否能夠使用深度學習技術來提取特征及學習哈希函數，跨模態哈希方法又可以分為深度跨模態哈希和非深度跨模態哈希。非深度哈希方法使用手工設計的特征來進行哈希函數和哈希碼表示的學習，其將特征提取階段和哈希學習階段分離開來，這樣的設計會導致次優的學習結果。而深度跨模態哈希方法則將特征提取和哈希學習集成在一個框架內，這樣使得這兩個階段可以相互促進，進而提高學習的質量。

在很多真實數據中，如CIFAR-100和Imagenet數據集等，數據對應的語義標簽通常攜帶層次結構。例如，一個簡單的包含三層標簽的例子：“摩托車”和“卡車”都屬于父類“車”，而“船”和“車”都屬于父類“交通工具”。這些層次結構包含許多有用的信息，如果在學習過程中充分挖掘其中的信息，顯然會提高學習的效果，進而達到提高檢索精度的作用。但是，當前大部分現有技術都忽視了標簽的層次信息。發明人發現，盡管有極少數方法在學習過程中嘗試使用這種層次信息，這些跨模態哈希方法存在以下不足：其為標簽層次結構的每一層生成分層的哈希碼，并沒有考慮跨層標簽間的關聯信息。

發明內容

為了解決現有技術的不足，本申請提供了利用標簽層次信息的多媒體數據跨模態檢索方法及系統；

第一方面，本申請提供了利用標簽層次信息的多媒體數據跨模態檢索方法；

利用標簽層次信息的多媒體數據跨模態檢索方法，包括：

獲取待檢索的第一模態多媒體數據；

對待檢索的第一模態多媒體數據進行特征提取，得到第一哈希碼；

將第一哈希碼與預存儲的第二模態的所有多媒體數據對應的已知哈希碼進行距離計算；選擇距離最近的若干個哈希碼對應的第二模態的多媒體數據，作為檢索結果輸出。

第二方面，本申請提供了利用標簽層次信息的多媒體數據跨模態檢索系統；

利用標簽層次信息的多媒體數據跨模態檢索系統，包括：

獲取模塊，其被配置為：獲取待檢索的第一模態多媒體數據；