[發明專利]一種結合深度學習與稀疏表示的室內場景識別方法

有效

• 申請號: 201611120285.8
• 申請日: 2016-12-08
• 公開（公告）號: CN106650798B
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 孫寧;朱小英;劉佶鑫;李曉飛
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 徐瑩

本發明公開了一種結合深度學習與稀疏表示的室內場景識別方法，包括步驟：從室內場景庫中隨機挑選若干張室內場景圖像作為訓練樣本，將剩余作為測試樣本；利Fast?RCNN算法對訓練和測試樣本進行物體類別判別和檢測，以構建得到每張室內場景圖像的底層特征；利用詞袋模型將每張室內場景圖像的底層特征和空間特征結合，構建得到中層特征；對訓練樣本中的中層特征進行糅合構建得到稀疏字典；利用稀疏字典對測試樣本進行稀疏表示，及根據求解出的稀疏解與所輸入的測試樣本計算得到殘差，并根據殘差的大小判斷測試樣本所屬的物體類別；將判斷得到所屬的物體類別輸出。本發明能準確識別室內場景，可有效提高室內場景識別的準確率和魯棒性，具有很高的實用性能。

技術領域

本發明涉及一種結合深度學習與稀疏表示的室內場景識別方法，屬于圖像處理技術的技術領域。

背景技術

隨著信息技術和智能機器人的發展與普及，場景識別作為重要的研究內容，已成為計算機視覺和模式識別領域的重要研究問題。場景圖像分類是依據一組給定的語義標簽來對圖像數據集進行自動分類。場景識別模型主要分為三大塊：基于低級特征、基于中級特征、基于視覺詞匯。所謂低級特征，即對場景圖像提取全局或者分塊的紋理、顏色等特征對場景圖像進行分類，比如Valiaya和Szumme等人的研究，但是這種提取底層特征的方法只適用于比較簡單的場景或者場景差別較大的圖像場景(沙灘和藍天、室內和室外等)，因而人們又繼續進行探索，David G^[6]提出了一種基于尺度空間的、具有圖像縮放、旋轉和仿射不變形的圖像局部特征描述算子SIFT，Dalal等人提出了HOG圖像局部特征，得到了高性能的底層特征。隨著人們對圖像識別研究領域的深入，人們逐漸發現僅僅提取底層特征不能有效解決語義鴻溝問題，因此構建中層特征作為一個新的研究思路，引起了廣大研究者們的關注，其中最具代表性的是視覺詞袋模型(Bag of visual Words,BoW)，但它是將圖像表示成了一個無序局部特征集的特征包方法，忽略了所有的關于圖像塊的位置信息，為了解決這個問題，Lazebnik等人提出一種基于空間金字塔匹配(Spatial Pyramid Matching,SPM)的方法來改進傳統的BoW模型，取得了較好的識別效果。

當把上述方法應用在室內場景識別時，識別效果顯著下降，究其原因是室內場景主要存在類內差異大類間差異小、遮擋、尺度、角度變化等原因，比如同是書店，有可能只有書柜和書，也有可能只有書，而書店和圖書館兩個場景同時有書柜和書。為此，Vogel和Schiele^[12]最早提出了采用局部區域目標來對自然場景進行建模的方法。因此，基于目標的高層圖像表示方法被相繼提出，如Li-feifei等提出的目標銀行模型，這些方法將目標作為圖像的基本元素，通過分析圖像中所包含的一系列目標來進一步分類場景圖像，但是由于室內場景圖像較復雜，目前并沒有一種特別好的解決室內場景圖像識別效果差的方法，其識別仍然普遍偏低，無法滿足現實的需求。

發明內容

本發明所要解決的技術問題在于克服現有技術的不足，提供一種結合深度學習與稀疏表示的室內場景識別方法，解決由于目前室內場景類內差異大類間差異小、遮擋、尺度、角度變化等原因，造成了目前室內場景識別相比較于室外場景識別來說其復雜度和困難性更大，因而識別效果差的問題，以提高室內場景識別算法的識別率和魯棒性。

本發明具體采用以下技術方案解決上述技術問題：

一種結合深度學習與稀疏表示的室內場景識別方法，包括以下步驟：

步驟A、從室內場景庫中隨機挑選若干張室內場景圖像作為訓練樣本，及將室內場景庫中剩余的室內場景圖像作為測試樣本；

步驟B、利用Fast-RCNN算法對所述訓練樣本和測試樣本進行物體類別判別和檢測，得到訓練樣本和測試樣本中每張室內場景圖像中包含的物體類別、位置和分值信息，以構建得到每張室內場景圖像的底層特征；

步驟C、利用詞袋模型根據所述訓練樣本和測試樣本中每張室內場景圖像的底層特征，構建得到每張室內場景圖像的中層特征；