[發明專利]一種基于GCN的深度無監督跨模態檢索方法

在審

• 申請號: 202211389979.7
• 申請日: 2022-11-08
• 公開（公告）號: CN115599942A
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 李明勇;戈明遠
• 申請（專利權）人: 重慶師范大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F40/30;G06N3/04;G06N3/08;G06V10/74;G06V10/80;G06V10/82
• 代理公司: 合肥數字代碼知識產權代理有限公司 34253
• 代理人: 何雪峰

本發明公開了一種基于GCN的深度無監督跨模態檢索方法，涉及跨模態檢索技術領域，包括以下步驟：S1：利用GCN搭建文本編碼器，將特征相近的文本實例聯系起來，豐富文本特征，S2：使用Hadamard乘積對原始的模內相似度矩陣進行增強，提出增強注意力融合機制對不同模態的語義相似度矩陣進行融合，針對不同的實例的文本和圖像相似度有不同注意力。本發明中，該機制能夠隨著數據集和樣本的特征分布的改變而自適應地調整注意力；在三個公共數據集上的大量實驗表明，所提出的DESAH方法可以學習更有效的哈希函數，以利于跨模態檢索任務，并且基線方法相比，總體上顯示了更高的檢索精度。

技術領域

本發明涉及跨模態檢索技術領域，尤其涉及一種基于GCN的深度無監督跨模態檢索方法。

背景技術

隨著大數據的高速發展，文本、圖像以及視頻等不同模態的數據也呈現爆炸式增長，海量的數據不僅僅是單純的數量大，它們所蘊含的信息也更加豐富。近年來，由于深度哈希方法在跨模態檢索任務中展現了其存儲成本低和檢索效率高的特點而備受關注。跨模態哈希方法旨在發掘不同模態數據之間的相關性，以實現跨模態相似性搜索。它將不同模式的數據投射到一個共同的漢明空間中去進行快速檢索。

無監督方法就是只分析原始特征以揭示它們的內在關系以指導哈希學習，避免使用成本高昂的人工標注標簽。由于只能分析原始特征信息，所以所學習的哈希碼和哈希函數的準確與否高度依賴于可以從原始數據集中挖掘出有效信息的多少。這樣一來，特征提取過程在哈希碼和哈希函數的學習過程中就比較重要了。

盡管現存的方法取得了巨大的成功，但現存的無監督跨模態哈希方法仍然存在普遍的問題。一是文本所提取的特征不夠豐富，稀疏的文本特征導致所構建的文本模態相似度矩陣指導效果較差。二是多模態的相似度矩陣不能做到自適應融合，不同的特征分布的數據集其權衡參數各有差異。

為此，我們設計了一種基于GCN的深度無監督跨模態檢索方法用來解決上述問題。

發明內容

本發明提供一種基于GCN的深度無監督跨模態檢索方法。

為解決上述技術問題，本發明提供的一種基于GCN的深度無監督跨模態檢索方法，包括以下步驟：S1：利用GCN搭建文本編碼器，將特征相近的文本實例聯系起來，豐富文本特征，通過這種方式，可以顯著的緩解文本特征稀疏問題；

S2：使用Hadamard

乘積對原始的模內相似度矩陣進行增強，提出了增強注意力融合機制對不同模態的語義相似度矩陣進行融合，針對不同的實例的文本和圖像相似度有不同注意力，且該機制會隨著數據集分布的改變自適應地調整注意力；

S3：在三個公共基準的大量實驗表明，DESAH可以比其他無監督跨模態哈希方法更有效地優化哈希函數，我們利用GCN搭建了一個文本編碼器，用以挖掘更多的文本語義特征；一方面，我們對原有的相似度矩陣進行了增強操作；另一方面，我們設計了一個基于增強相似度的注意力融合機制，使得每個實例的模態內相似度相互補充融合，形成了統一的模態間相似度矩陣，用以更好地指導哈希碼的學習；與此同時，該機制還能夠隨著數據集和樣本的特征分布的改變而自適應地調整注意力；在三個公共數據集上的大量實驗表明，所提出的DESAH方法可以學習更有效的哈希函數，以利于跨模態檢索任務，并且基線方法相比，總體上顯示了更高的檢索精度。

優選的，所述S2中使用Hadamard乘積對原始相似度進行了重新加權優化，得到高階非局部相似度矩陣，再通過加權不同模態的相似度矩陣得到統一的相似度矩陣。

優選的，利用圖卷積網絡搭建了一個文本編碼器提取文本實例的特征，構建文本A與其他文本的語義聯系圖，采用增強語義相似度矩陣，增強相似度操作。

優選的，所述檢索方法主要包含兩個編碼器：E_x和E_y，分別對圖像和文本特征編碼，E_x和E_y建立在不同的基礎網絡框架上。