[發明專利]基于卷積特征和空間視覺詞袋模型的場景識別方法

有效

• 申請號: 201710126371.8
• 申請日: 2017-03-06
• 公開（公告）號: CN106919920B
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 豐江帆;劉媛媛;劉光軍;夏英
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種基于卷積特征和空間視覺詞袋模型的場景識別方法，其特征在于，包括：

對原始數據庫中的數據進行擴增，生成第一場景圖像，所述第一場景圖像包括多個與原數據相似、標簽不變的訓練數據；

根據所述第一場景圖像構建卷積神經網絡模型；

將所述第一場景圖像和待分類圖像分別輸入到構建好的卷積神經網絡模型，分別得到第一場景圖像的圖像卷積特征和待分類圖像的圖像卷積特征；

根據得到的圖像卷積特征用空間視覺詞袋模型生成特征編碼詞典，所述得到的圖像卷積特征為第一場景圖像的圖像卷積特征和待分類圖像的圖像卷積特征；

根據所述特征編碼詞典分別獲取所述第一場景圖像的最終直方圖信息和待分類圖像的最終直方圖信息；

根據預設的分類器、第一場景圖像的最終直方圖信息和待分類圖像的最終直方圖信息對待分類圖像分類，首先對用戶給定的樣本場景圖像構建其詞袋模型，并和待分類圖像數據庫中的詞袋直方圖逐一進行相似性匹配，再結合特定的分類器，根據圖像間特征差異的大小對待分類圖像庫進行排序，將落在預設的閾值范圍內的圖像隊列作為和用戶給定的樣本景圖像類似的場景分類結果，包括：提取待分類圖像的SIFT特征；根據待分類圖像的SIFT特征和圖像卷積特征采用預設的分類器對待分類圖像進行分類，SIFT特征是從圖像的原始像素出發得到的，圖像卷積特征是通過卷積網絡模型層數的增加，得到的不斷抽象，最終通過實驗加權融合進行分類得到的；

對低層次的SIFT特征詞袋分類結果和卷積特征詞袋分類結構進行融合，并且調節權值，得到最終分類結果。

2.根據權利要求1所述的基于卷積特征和空間視覺詞袋模型的場景識別方法，其特征在于：根據所述第一場景圖像構建卷積神經網絡模型之前，還包括：對第一場景圖像預處理；所述預處理包括降噪和增強對比度。

3.根據權利要求2所述的基于卷積特征和空間視覺詞袋模型的場景識別方法，其特征在于：所述對第一場景圖像預處理，包括對第一場景圖像采用拉普拉斯濾波算法來降低光照影響，降低光照情況下拍攝圖像噪聲，以及對第一場景圖像采用直方圖均衡化增加灰度值的動態范圍，增強圖像整體對比度。

4.根據權利要求1所述的基于卷積特征和空間視覺詞袋模型的場景識別方法，其特征在于：所述對原始數據庫中的數據進行擴增，生成第一場景圖像包括：

對原始數據庫中的數據使用仿射變換、水平翻轉和彈性裁切的隨機組合來進行擴增，生成多個與原數據相似、標簽不變的訓練數據作為第一場景圖像。

5.根據權利要求1所述基于卷積特征和空間視覺詞袋模型的場景識別方法，其特征在于：所述根據所述特征編碼詞典分別獲取所述第一場景圖像的最終直方圖信息和待分類圖像的最終直方圖信息，包括：

將得到的圖像卷積特征圖像當做提取的局部特征并利用空間視覺詞袋模型，計算特征點與碼書中視覺單詞之間的距離集合，采取軟分配編碼進行特征編碼，形成第一場景圖像和待分類圖像的直方圖矢量；所述特征點指局部特征，所述碼書為所述特征編碼詞典。