[發明專利]基于圖像上下文信息的場景識別方法及裝置

有效

• 申請號: 201811091826.8
• 申請日: 2018-09-19
• 公開（公告）號: CN109446897B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 魯繼文;周杰;袁博;程曉娟
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明提出了一種基于圖像上下文信息的場景識別方法及系統，其中，該方法包括以下步驟：將預設圖像劃分為多個圖像塊，以提取每個圖像塊的圖像塊特征；根據每個圖像塊的圖像塊特征通過顯著性模塊生成序列信息，以得到圖像塊在語義上的相關關系；根據圖像塊在語義上的相關關系對每個圖像塊及其上下文信息進行編碼，以得到上下文信息特征；以及獲取全局表觀信息，并根據全局表觀信息和上下文信息特征得到特征表達信息，以得到場景識別結果。該方法能夠充分利用圖像上下文信息，將場景中物體特征與其上下文的特征進行場景識別，從而提高圖像的特征表達能力。

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種基于圖像上下文信息的場景識別方法及裝置。

背景技術

近年來，場景識別在計算機視覺領域得到了廣泛關注，并且在機器人視覺，無人駕駛等應用中起著重要的作用。通常，場景是由特定物體按照某種布局組合而成，因此場景包含了多種信息，包括整體布局信息，所組成的物體信息以及物體之間的相關關系。盡管在場景識別領域有很多研究工作，但是開發出同時捕獲場景中包含的多種信息的算法仍然是非常具有挑戰性的任務。

場景識別的核心部分在于對場景的特征表達，現有的大部分工作可以分為主要的兩大類：基于人工的特征表達和基于深度學習的特征表達。基于人工特征的方法主要是針對于圖像特點以及任務，設計合理的特征描述子對圖像進行表征。然而，這種方法只能捕捉場景圖像低水平的表觀特征，不足以充分表達復雜的場景，而且設計描述子需要大量的先驗知識，計算量較大，實際應用價值較低。

相比之下，很多研究者都著手于深度特征學習的方法，通過網絡自身學習圖像特征。這種基于學習的方法不僅取代了手工設計的特征而且可以提取更高層水平以及多元信息的圖像表達。在相關技術中存在以下幾種情況：第一種，依賴于深度神經網絡挖掘圖像的全局特征，利用網絡高層特征作為整張圖像的表觀信息；第二種，考慮到充分利用深度網絡的多層特征，利用網絡多個低層卷積層的特征和高層全連接層的特征聚合在一起，提高網絡對特征的表達能力。針對于上述整張圖像的操作，這些特征都不具有局部魯棒性。為了實現圖像局部特征的不變性，有些相關技術將圖像分割成多個圖像塊，對每個圖像塊利用已經訓練好的網絡模型提取特征，最后聚合在一起。另外，場景中所包含物體的尺度大小不一，為了實現物體特征尺度不變性，相關技術還引入了多個網絡，每個網絡對應于不同尺度圖像進行訓練，最后將多個不同尺度圖像特征結合在一起，提高特征判別性能。此外，有些研究者針對于場景中所組成物體的分布特性實現分類，有發明提出一種OOM網絡統計場景中所出現物體的概率分布，以此作為特征區分不同場景。雖然表觀特征和物體分布特征對實現分類起著重要作用，但是這些信息不充分表達一些相似場景的特征。從圖1可以發現，若僅考慮圖像整體的布局信息或者場景圖像所組成的物體，很難將一些相似場景正確分類。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于圖像上下文信息的場景識別方法。該方法可以提高圖像的特征表達能力，并大大提高場景識別的準確性。

本發明的另一個目的在于提出一種基于圖像上下文信息的場景識別裝置。

為達到上述目的，本發明一方面提出了基于圖像上下文信息的場景識別方法，包括以下步驟：將預設圖像劃分為多個圖像塊，以提取每個圖像塊的圖像塊特征；根據所述每個圖像塊的圖像塊特征通過顯著性模塊生成序列信息，以得到圖像塊在語義上的相關關系；根據所述圖像塊在語義上的相關關系對所述每個圖像塊及其上下文信息進行編碼，以得到上下文信息特征；以及獲取全局表觀信息，并根據所述全局表觀信息和所述上下文信息特征得到特征表達信息，以得到場景識別結果。

本發明實施例的基于圖像上下文信息的場景識別方法，通過融合圖像全局表觀信息以及局部上下文信息，充分利用圖像上下文信息，聯合場景中物體特征與其上下文的特征，有效利用多方面特征提高網絡對場景的表達能力提高特征的判別能力，很大程度上提高了性能。