[發明專利]一種協同門控循環融合LSTM圖像標注方法

有效

• 申請號: 202110794816.6
• 申請日: 2021-07-14
• 公開（公告）號: CN113627424B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 楊有;陳立志;胡峻滔;余平;楊學森
• 申請（專利權）人: 重慶師范大學
• 主分類號: G06V30/146
• 分類號: G06V30/146;G06V30/19;G06V10/82;G06N3/0464;G06N3/049;G06N3/08
• 代理公司: 重慶莫斯專利代理事務所(普通合伙) 50279
• 代理人: 劉強

本發明涉及協同門控循環融合領域，具體涉及一種協同門控循環融合LSTM圖像標注方法，通過協同門控注意方法執行圖像?文本匹配的多模態任務；由生成注意權值的注意LSTM循環融合組成注意rLSTM；由生成單詞的語言LSTM循環融合組成語言rLSTM；把協同門控注意SGA和循環融合LSTM整合在一起，形成rLSTM?SGA；使用數據集對方法進行評論，從而通過SGA方法不僅注意圖像的顯著區域特征，還可以注意圖像的空間特征信息，rLSTM方法，它可以代替傳統單一的LSTM單元生成機制，每一時刻通過循環多個相同的LSTM對同一輸入進行融合建模，進而對同一語義獲取不同的上下文信息，以此提高模型序列學習的能力，生成更加準確的描述語句，整合上述兩種創新方法在MSCOCO數據集上進行了評估。

技術領域

本發明涉及協同門控循環融合技術領域，尤其涉及一種協同門控循環融合LSTM圖像標注方法。

背景技術

近年來，深度學習方法有著非常大的進步，驅動著圖像描述生成朝著深度學習的方法快速發展，并取得了突破性的結果。在機器翻譯以及序列到序列任務啟發下，基于編碼器譯碼器框架的圖像描述生成方法得到了廣泛應用。人們為了更好地探索視覺區域之間關系，挖掘圖像中可用的語義信息，最近出現一些建立場景圖的方法，通過構造視覺關系圖來增強圖像表示和描述生成。

目前圖像描述生成的大量工作在譯碼端，探索RNN如何更加有效的譯碼圖像特征，使其能夠更加快速的收斂模型，更加準確的預測目標單詞概率。而LSTM作為一種時間循環神經網絡，在圖像描述模型的譯碼器中被廣泛使用。它在處理序列數據過程中起著關鍵的作用，通過引入輸入門、遺忘門與輸出門，LSTM能夠有效解決RNN中存在的梯度消失問題。但是，LSTM序列生成的鏈狀結構相對比較單一，每一時刻只有一個LSTM單元的狀態輸出。對比傳統的LSTM方法提出了一種并行LSTM機制，即pLSTM模型，在每一層并行多個LSTM對同一輸入獲取不同的上下文信息。然而，每一層并行LSTM的方法雖然可以對輸入信息進行多種不同的建模，但是LSTM單元之間是缺少序列關聯性的。

發明內容

本發明的目的在于提供一種協同門控循環融合LSTM圖像標注方法，旨在解決現有技術中的對比傳統的LSTM方法提出了一種并行LSTM機制，即pLSTM模型，在每一層并行多個LSTM對同一輸入獲取不同的上下文信息。然而，每一層并行LSTM的方法雖然可以對輸入信息進行多種不同的建模，但是LSTM單元之間是缺少序列關聯性的的技術問題。

為實現上述目的，本發明采用的一種協同門控循環融合LSTM圖像標注方法，包括如下步驟，

通過協同門控注意方法執行圖像-文本匹配的多模態任務；

由生成注意權值的注意LSTM循環融合組成注意rLSTM，表示為rLSTM^a；

由生成單詞的語言LSTM循環融合組成語言rLSTM，表示為rLSTM^l；

把協同門控注意SGA和循環融合LSTM整合在一起，形成rLSTM-SGA；

使用數據集對方法進行評論。

其中，在“通過協同門控注意方法執行圖像-文本匹配的多模態任務”中，所述方法還包括，

使用卷積神經網絡模型提取空間語義信息；

使用Faster-RCNN提取顯著區域信息；

將提取的空間語義信息和顯著區域信息融合在一起，同時利用圖像不同的區域信息和空間信息生成當前的描述文本。

其中，在“由生成注意權值的注意LSTM循環融合組成注意rLSTM”中，所述方法還包括，

在第一層上，rLSTM^a網絡的隱藏狀態計算公式如下：