[發明專利]基于編解碼網絡的圖像-文本多模態融合方法

在審

• 申請號: 202111087906.8
• 申請日: 2021-09-16
• 公開（公告）號: CN113887585A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 陳咪咪;陳思華;劉平英;高昂昂
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 曹蕓

本發明涉及一種基于編解碼網絡的圖像?文本多模態融合方法，屬于計算機視覺、自然語言處理、模式識別技術領域。該方法包括如下步驟：S1：在現有目標檢測數據集的基礎上對其進行手動標記生成文本信息，構建新的圖像?文本數據集，并將數據集劃分為訓練集、驗證集和測試集；S2：選擇適合的優化學習方法，設置相關超參數，將訓練集和驗證集通過編解碼網絡模型進行訓練；S3：訓練結束后，在測試集中任選一張圖片，輸入編解碼網絡模型，加載訓練好的模型權重，最終檢測出所對應的目標結果。本發明采用圖像?文本融合處理的方法，利用同一個事物的兩種不同類型的數據進行融合處理，能夠使網絡訓練時精確度更高，進而識別出相關所需讓目標。

技術領域

本發明涉及一種基于編解碼網絡的圖像-文本多模態融合方法，屬于計算機視覺、自然語言處理、模式識別技術領域。

背景技術

近年來，隨著人工智能技術的快速發展，涌現出了一大批基于深度學習的目標檢測算法。目標檢測即找出圖像中所有感興趣的物體，包含物體定位和物體分類兩個子任務，同時確定物體的類別和位置。目前基于深度學習的目標檢測模型主要有YOLO、ResNet、SSD及基于卷積神經網絡(CNN)系列模型等等。對于經典的基于深度學習的目標檢測算法往往僅通過圖像一個維度進行，因此相關領域的學者為了使其獲得更高的精度，便對網絡進行不斷的改進，對于網絡的改進往往更多采用改進深度網絡的方法來實現，而對于深度網絡不斷的增加層數可能會導致梯度消失，梯度爆炸等問題。為了解決這些問題，有學者提出了許多改進的網絡結構，但此結構會使得網絡變得更為復雜。

發明內容

對于上述問題，結合多任務聯合處理的思想，本發明提出了一種基于編解碼網絡的圖像-文本多模態融合方法。通過對圖像的處理以及圖像相對應的文本的處理所獲得的特征矩陣進行融合處理，從而能夠使得文本信息與圖像信息相互融合，獲得處理后更準確的結果。

本發明為解決其技術問題采用如下技術方案：

一種基于編解碼網絡的圖像-文本多模態融合方法，包括如下步驟：

S1：在現有目標檢測數據集的基礎上對其進行手動標記生成文本信息，構建新的圖像-文本數據集，并將數據集按照6：2：2的比例劃分為訓練集、驗證集和測試集；

S2：選擇適合的優化學習方法，設置相關超參數，將S1中所述的訓練集和驗證集通過編解碼網絡模型進行訓練；

S3：訓練結束后，在測試集中任選一張圖片，輸入編解碼網絡模型，加載訓練好的模型權重，最終檢測出所對應的目標結果。

步驟S2中所述編解碼網路模型包括：

編碼器，對給定的輸入圖像特征矩陣的尺度進行剪裁；

注意層，將編碼后所獲得的圖像矩陣進行提取相關主要信息，減弱次要干擾信息；

解碼器，將注意層的特征矩陣尺寸擴大至與輸入矩陣相同尺寸。

所述編碼器和解碼器均為四個，每個編碼器塊包含兩個卷積核為3x3的卷積層以及一個卷積核為2x2的最大池化層，每個解碼器塊包含兩個卷積核為3x3的反卷積層和一個卷積核為2x2的最大池化層。

所述注意層由空洞金字塔池化(ASPP)和全局平均池化層(global averagepooling)并行處理。

所述空洞金字塔池化采用的是卷積核為3x3的空洞卷積。

步驟S2所述適合的優化學習方法為隨機梯度優化器，所述相關的超參數為學習率、批尺寸、動量和權重衰減系數。

本發明的有益效果如下：

本發明采用圖像-文本融合處理的方法，利用同一個事物的兩種不同類型的數據進行融合處理，能夠使網絡訓練時精確度更高，進而識別出相關所需讓目標。

附圖說明