[發明專利]一種基于GCN的深度無監督跨模態檢索方法在審
| 申請號： | 202211389979.7 | 申請日： | 2022-11-08 |
| 公開（公告）號： | CN115599942A | 公開（公告）日： | 2023-01-13 |
| 發明（設計）人： | 李明勇;戈明遠 | 申請（專利權）人： | 重慶師范大學 |
| 主分類號： | G06F16/583 | 分類號： | G06F16/583;G06F40/30;G06N3/04;G06N3/08;G06V10/74;G06V10/80;G06V10/82 |
| 代理公司： | 合肥數字代碼知識產權代理有限公司 34253 | 代理人： | 何雪峰 |
| 地址： | 401331 重*** | 國省代碼： | 重慶;50 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 gcn 深度 監督 跨模態 檢索 方法 | ||
1.一種基于GCN的深度無監督跨模態檢索方法，其特征在于，包括以下步驟：
S1：利用GCN搭建文本編碼器，將特征相近的文本實例聯系起來，豐富文本特征；
S2：使用Hadamard乘積對原始的模內相似度矩陣進行增強后得到統一的相似度矩陣；
S3：采用增強注意力融合機制，對不同模態的語義相似度矩陣進行融合，針對不同的實例的文本和圖像相似度有不同注意力，且該機制會隨著數據集分布的改變自適應地調整注意力。
2.根據權利要求1所述的一種基于GCN的深度無監督跨模態檢索方法，其特征在于，所述S2中使用Hadamard乘積對原始相似度進行了重新加權優化，得到高階非局部相似度矩陣，再通過加權不同模態的相似度矩陣得到統一的相似度矩陣。
3.根據權利要求1所述的一種基于GCN的深度無監督跨模態檢索方法，其特征在于，利用圖卷積網絡搭建了一個文本編碼器提取文本實例的特征，構建文本A與其他文本的語義聯系圖，采用增強語義相似度矩陣，增強相似度操作。
4.根據權利要求1所述的一種基于GCN的深度無監督跨模態檢索方法，其特征在于，所述檢索方法主要包含兩個編碼器：Ex和Ey，分別對圖像和文本特征編碼，Ex和Ey建立在不同的基礎網絡框架上。
5.根據權利要求1所述的一種基于GCN的深度無監督跨模態檢索方法，其特征在于，所述S2中，通過鄰接矩陣來將兩個特征相近的文本實例聯系起來，通過圖卷積層后得到比一般全連接層更加豐富文本特征。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于重慶師范大學，未經重慶師范大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202211389979.7/1.html，轉載請聲明來源鉆瓜專利網。
