[發明專利]基于編解碼網絡的圖像-文本多模態融合方法

在審

• 申請號: 202111087906.8
• 申請日: 2021-09-16
• 公開（公告）號: CN113887585A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 陳咪咪;陳思華;劉平英;高昂昂
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 曹蕓

1.一種基于編解碼網絡的圖像-文本多模態融合方法，其特征在于，包括如下步驟：

S1：在現有目標檢測數據集的基礎上對其進行手動標記生成文本信息，構建新的圖像-文本數據集，并將數據集按照6：2：2的比例劃分為訓練集、驗證集和測試集；

S2：選擇適合的優化學習方法，設置相關超參數，將S1中所述的訓練集和驗證集通過編解碼網絡模型進行訓練；

S3：訓練結束后，在測試集中任選一張圖片，輸入編解碼網絡模型，加載訓練好的模型權重，最終檢測出所對應的目標結果。

2.根據權利要求1所述的基于編解碼網絡的圖像-文本多模態融合方法，其特征在于，步驟S2中所述編解碼網路模型包括：

編碼器，對給定的輸入圖像特征矩陣的尺度進行剪裁；

注意層，將編碼后所獲得的圖像矩陣進行提取相關主要信息，減弱次要干擾信息；

解碼器，將注意層的特征矩陣尺寸擴大至與輸入矩陣相同尺寸。

3.根據權利要求2所述的基于編解碼網絡的圖像-文本多模態融合方法，其特征在于，所述編碼器和解碼器均為四個，每個編碼器塊包含兩個卷積核為3x3的卷積層以及一個卷積核為2x2的最大池化層，每個解碼器塊包含兩個卷積核為3x3的反卷積層和一個卷積核為2x2的最大池化層。

4.根據權利要求2所述的基于編解碼網絡的圖像-文本多模態融合方法，其特征在于，所述注意層由空洞金字塔池化和全局平均池化層并行處理。

5.根據權利要求4所述的基于編解碼網絡的圖像-文本多模態融合方法，其特征在于，所述空洞金字塔池化采用的是卷積核為3x3的空洞卷積。

6.根據權利要求1所述的基于編解碼網絡的圖像-文本多模態融合方法，其特征在于，步驟S2所述適合的優化學習方法為隨機梯度優化器，所述相關的超參數為學習率、批尺寸、動量和權重衰減系數。