[發明專利]基于多尺度細粒度哈希網絡的跨模態遙感檢索方法及系統

在審

• 申請號: 202310048099.1
• 申請日: 2023-01-31
• 公開（公告）號: CN116049475A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 馮永;黃嘉翔
• 申請（專利權）人: 重慶大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06V10/44;G06V10/80;G06V10/82;G06N3/048
• 代理公司: 重慶博凱知識產權代理有限公司 50212
• 代理人: 張乙山

1.基于多尺度細粒度哈希網絡的跨模態遙感檢索方法，其特征在于，包括：

S1：獲取用戶輸入的遙感圖像或描述文本作為待檢索數據；

S2：將待檢索數據輸入經過訓練的跨模態檢索模型中，輸出與其語義相關的文本或圖像結果；

訓練時，跨模態檢索模型首先將用作訓練樣本的遙感圖像及對應的描述文本作為模型輸入；然后通過CNN網絡和多尺度特征融合模塊提取遙感圖像的多尺度融合特征，并引入冗余過濾器去除重復特征，生成對應的圖像特征；其次利用Bi-GRU網絡和視覺引導注意力模塊提取描述文本的細粒度語義特征，并結合圖像特征進行視覺引導，生成對應的文本特征；再通過哈希檢索網絡將圖像特征和文本特征轉換為對應的二進制哈希碼，進而計算對應哈希碼的漢明距離并排序；最后通過損失函數優化哈希檢索網絡的網絡參數直至收斂；

S3：將跨模態檢索模型輸出的與對應待檢索數據語義相關的文本或圖像結果作為對應的檢索結果。

2.如權利要求1所述的基于多尺度細粒度哈希網絡的跨模態遙感檢索方法，其特征在于，步驟S2中，通過如下步驟提取多尺度融合特征：

S201：通過預先訓練的ResNet模型提取遙感圖像的圖像全局特征v(g)；

公式描述為：

v^(g)＝f_CNN(I)；

式中：v^(g)表示圖像全局特征；I表示輸入的遙感圖像；f_CNN表示ResNet模型；

S202：基于圖像全局特征v^(g)，通過組合不同上采層的上采樣特征生成對應的圖像低級特征v^(l)和圖像高級特征v^(h)；

公式描述為：

v^(l)＝Cat({L_k}_k＝1.2.3)；

v^(h)＝Cat({L_k}_k＝4，5)；

式中：v^(l)表示圖像低級特征；v^(h)表示圖像高級特征；Cat表示特征連接；Upsample表示上采樣；L_k表示第k層上采樣層；

S203：通過3×3和1×1的卷積核分別對圖像低級特征v^(l)和圖像高級特征v^(h)進行下采樣，并連接下采樣后的圖像低級特征和圖像高級特征生成對應的多尺度特征

公式描述為：

式中：表示下采樣后的圖像低級特征；表示下采樣后的圖像高級特征；表示3×3的卷積核；表示1×1的卷積核；PReLU表示激活函數；

S204：將多尺度特征和平均化后的圖像高級特征v^(h)進行殘差連接，生成對應的多尺度融合特征v^(lh)；

公式描述為：

式中：v^(lh)表示多尺度融合特征；Average表示平均化操作；+表示特征相加。