[發明專利]基于圖像上下文信息的場景識別方法及裝置

有效

• 申請號: 201811091826.8
• 申請日: 2018-09-19
• 公開（公告）號: CN109446897B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 魯繼文;周杰;袁博;程曉娟
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種基于圖像上下文信息的場景識別方法，其特征在于，包括以下步驟：

將預設圖像劃分為多個圖像塊，以提取每個圖像塊的圖像塊特征；

根據所述每個圖像塊的圖像塊特征通過顯著性模塊生成序列信息，以得到圖像塊在語義上的相關關系；

根據所述圖像塊在語義上的相關關系對所述每個圖像塊及其上下文信息進行編碼，以得到上下文信息特征，進一步包括：利用長短時記憶網絡獲取具有處理時序信息的特性；加入門模塊，利用所述長短時記憶網絡過濾掉所述圖像塊中不具有判別性能的特性；借助所述長短時記憶網絡存儲對所述圖像塊及所述上下文信息進行編碼；以及

獲取全局表觀信息，并根據所述全局表觀信息和所述上下文信息特征得到特征表達信息，以得到場景識別結果。

2.根據權利要求1所述的基于圖像上下文信息的場景識別方法，其特征在于，所述將預設圖像分化為多個圖像塊，進一步包括：

將訓練集和測試集中所有預設圖像歸一化到相同尺寸大?。?/p>

將歸一化處理后的所述預設圖像通過滑動窗口分割成所述多個圖像塊；

利用卷積神經網絡提取所述每個圖像塊的圖像塊特征。

3.根據權利要求1所述的基于圖像上下文信息的場景識別方法，其特征在于，所述相關關系的計算公式為：

f＝relu(W_vV+W_hh_t-1+W_ee_t-1)

其中，f是通過感知器融合了圖像塊特征V，長短時記憶網絡隱層特征h以及圖像語義特征e，W是對應感知器的參數，t為當前時刻，h_t-1為前一時刻隱層特征，e_t-1為前一時刻上下文特征，W_v為圖像塊特征的對應感知器參數，W_h為長短時記憶網絡隱層特征的對應感知器參數，W_e為圖像語義特征的對應感知器參數是對softmax函數的具體表示，f是感知器的融合特征，W_i為關注第i個圖像塊時的權重參數，W_j表示關注第j個圖像塊時的權重參數，L代表圖像塊的個數,ν_i為第i個區域塊對應的區域特征，α代表下一時刻模塊所關注的圖像塊的概率，α_i代表下一時刻關注第i個圖像塊的概率，L是所有圖像塊的數量，z被視為下一時刻圖像塊的概率特征，通過設置T次的迭代，模塊會輸出序列特征{z₁,z₂...z_T}，z_t分別與z_t-1和z_t+1在語義層面存在相關關系。

4.根據權利要求1所述的基于圖像上下文信息的場景識別方法，其特征在于，所述全局表觀信息利用卷積神經網絡對整張圖像進行特征提取，所述上下文信息特征基于所述圖像塊進行獲取。

5.一種基于圖像上下文信息的場景識別裝置，其特征在于，包括：

提取模塊，用于將預設圖像劃分為多個圖像塊，以提取每個圖像塊的圖像塊特征；

生成模塊，用于根據所述每個圖像塊的圖像塊特征通過顯著性模塊生成序列信息，以得到圖像塊在語義上的相關關系；

編碼模塊，用于根據所述圖像塊在語義上的相關關系對所述每個圖像塊及其上下文信息進行編碼，以得到上下文信息特征，所述編碼模塊進一步包括：

獲取單元，用于利用長短時記憶網絡獲取具有處理時序信息的特性；

過濾單元，用于加入門模塊，利用所述長短時記憶網絡過濾掉所述圖像塊中不具有判別性能的特性；

編碼單元，用于借助所述長短時記憶網絡存儲對所述圖像塊及所述上下文信息進行編碼；

獲取模塊，用于獲取全局表觀信息，并根據所述全局表觀信息和所述上下文信息特征得到特征表達信息，以得到場景識別結果。