[發明專利]基于視覺與語義注意力相結合策略的圖像描述方法及系統

有效

• 申請號: 201710806029.2
• 申請日: 2017-09-08
• 公開（公告）號: CN107563498B
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 王雷全;褚曉亮;魏燚偉;吳春雷;崔學榮
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/46
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了基于視覺與語義注意力相結合策略的圖像描述方法及系統，步驟：利用卷積神經網絡CNN從待生成圖像描述的圖像中提取圖像特征；利用圖像的視覺注意力模型對圖像特征進行處理，將視覺注意力模型處理過的圖像特征送入第一LSTM網絡產生單詞，然后利用語義注意力模型對產生的單詞和預定義的標簽進行處理得到語義信息，然后利用第二LSTM網絡對語義進行處理得到語義注意力模型生成的單詞，重復上述步驟，最后將所有得到的單詞進行串聯組合，產生圖像描述；本發明的方法不僅利用了輸入圖像的概述，而且還豐富了視覺語義方面的信息，讓生成的句子更能夠真實的反應圖像的內容。

技術領域

本發明涉計算機視覺技術和自然語言處理技術，特別是涉及基于視覺與語義注意力相結合策略的圖像描述方法及系統。

背景技術

關于圖像描述的研究在機器學習和計算機視覺領域備受關注，這項研究之所以意義重大不僅僅是因為它具有重要的實際應用，最重要的是它還是計算機視覺領域中關于圖像理解的一項巨大的挑戰。生成對圖像有意義的語言描述需要計算機對圖像具有一定的理解能力，這遠比圖像分類和對象檢測的任務要復雜的多，圖像描述成功的將人工智能領域的兩個主要技術自然語言處理和計算機視覺相結合在一起。

現有的圖像描述方法有兩種:自上而下，自下而上。自上而下是從圖像的“要點”開始，并將其轉化為單詞。自下而上則是先從圖像入手提取關于圖像的單詞，然后利用提取的單詞來生成描述。語言模型在兩種模式中被使用來形成連貫的句子。當前效果比較好的是自上而下的方法，它是基于循環神經網絡的一種從圖像到句子的端到端的描述，并且這種方法可以從訓練數據中學習循環神經網絡的所有參數。自上而下的方法的局限性在于它很難看到在圖像描述方面很重要的細節問題。自下而上的方法則不會受到此問題的影響。

視覺注意力是人類視覺系統中的重要機制，這是一個反饋的過程，它可以將視覺皮層的早期階段的表示選擇性地映射到場景中特定區域這種選擇性映射允許大腦在低級圖像屬性的指導下將計算資源聚焦在對象上。視覺注意機制也在偏向語義的圖像的自然語言描述中起著重要的作用。由于在生成句子的過程中當前時刻生成的單詞對于上一時刻生成的詞的依賴性比較大，當上一時刻生成的單詞不準確時，會影響到整個句子的結構與準確性。

發明內容

為了解決現有技術的不足，本發明提供了基于視覺與語義注意力相結合策略的圖像描述方法，提出了新的注意力模型，將自上而下與自下而上的方法有效的串聯在一起，具體來講，本發明首先利用圖像的視覺注意力模型產生語義，然后將生成的語義與利用圖像及對應的描述檢測語義概念或屬性作為語義注意模型的候選者，最后通過語義模型來預測新詞。

基于視覺與語義注意力相結合策略的圖像描述方法，包括：

步驟(1)：利用卷積神經網絡CNN從待生成圖像描述的圖像中提取圖像特征V；

步驟(2)：建立視覺注意力模型，判斷是否是首次執行，若是，則將步驟(1)的圖像特征V輸入到視覺注意力模型中，得到經過視覺注意力模型處理后的圖像特征V_att；若不是，則將步驟(1)的圖像特征V和t-1時刻語義注意力模型生成的單詞W_t-1輸入到視覺注意力模型中，得到經過視覺注意力模型處理后的圖像特征V_att；

步驟(3)：建立第一個LSTM網絡，稱之為LSTM₁網絡，LSTM₁網絡是指供視覺注意力模型使用的LSTM網絡；將LSTM₁網絡的t-1時刻的隱藏層狀態和經過視覺注意力模型處理以后的圖像特征V_att送入LSTM₁網絡，得到視覺注意力模型在t時刻產生的單詞W_t'；

步驟(4)：建立語義注意力模型，將視覺注意力模型在t時刻產生的單詞W_t'與預定義的標簽A一起輸入到語義注意力模型中；得到語義注意力模型在t時刻生成的語義信息E_t；