[發明專利]基于多特征融合的場景分類方法

在審

• 申請號: 201910901697.2
• 申請日: 2019-09-23
• 公開（公告）號: CN110659608A
• 公開（公告）日: 2020-01-07
• 發明（設計）人: 軒靖奇;蔡春花;王峰
• 申請（專利權）人: 河南工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明針對場景識別領域圖像的單一特征判別性能和泛化能力缺陷，對于場景分類的特征融合方法進行了研究。首先提取場景圖像GIST特征、HOG特征、SIFT特征以及PLBP特征，并且對于SIFT特征進行VLAD方式進行特征編碼；然后利用串行融合方法對提取的特征進行不同方式的分析和融合；最后輸入到多線性SVM對場景圖像進行分類并通過大量實驗對于最終識別的平均準確率和分類速度進行評估。實驗結果表明，本發明提出的方法，能夠利用不同特征的優勢實現彼此的特征信息互補，在特征提取耗時和分類耗時不大的情況下達到較好的分類性能。

技術領域

本發明屬于場景識別領域，具體涉及到一種基于多特征融合的場景分類方法。

背景技術

場景識別的目標是通過提取和分析場景中的特征，獲取場景的信息，從而對圖像所屬的場景進行識別。作為計算機視覺的一個重要研究方向，在很多領域如圖像視頻檢索、安控系統、機器人智能視覺系統、智能交通等都得到了的應用。由于同類場景圖像之間在背景、尺度、視角、光照等方面具有較大的差異性，不同類別場景圖像之間也會存在相近性，因此給場景圖像分類和識別帶來較大的困難。

場景識別是計算機視覺領域中的一個重要而困難的研究課題。2010年之前主要是利用低層特征實現分類識別，主要包括紋理、形狀和顏色等。但是，這種簡單的全局特征還不足以描述整幅圖像的特征，在復雜環境下其分類性能不佳。為了克服這個問題，隨后一些學者從底層特征的局部出發，對局部區域的顏色和紋理進行處理。David Lowe在2004年IJCV會議提出了一種基于尺度空間的、具有圖像縮放、旋轉和仿射變換不變性的圖像局部特征描述算子SIFT。2005年，Dalal等人在CVPR會議上提出了梯度方向直方圖(HOG)特征，一種通過統計圖像局部區域的梯度方向信息作為圖像的特征。Olivia和Torralba采用并改進了一種能反映圖像自然程度和開放程度等場景信息的全局特征Gist，但Gist特征在對復雜的室內場景進行分類時效果不太明顯。Philbin提出了基于SIFT特征的BOW模型，將提取的特征表述成多個視覺詞匯的組合，構成字典，通過分析計算樣本中視覺詞匯出現的頻率來對樣本進行分類。BOVW模型比較簡易，能夠有效降低樣本的特征維數，但是該模型沒有考慮特征點的空間位置信息。針對這一缺點，Lazebnik等人于2006年提出了空間金字塔匹配模型(spatial pyramid matching，SPM)，對樣本空間進行不同等級的劃分，充分考慮了特征的空間位置信息，很大程度地提升了BOVW模型的性能。

由于場景圖像的復雜性，單一特征很難描述圖像中的所有信息。如何尋求一種通過兼顧各個特征的優勢，挖掘更豐富的信息，以期達到優于單一特征的分類效果成為一個熱門方向。

發明內容

本發明旨在提供一種用于實現場景分類的多特征融合方法的方法。提出了基于SIFT局部描述子的VLAD特征、GIST特征、PLBP特征、HOG特征的融合方式。通過對局部特征進一步地編碼，以挖掘這些局部特征之間的相關信息，增強可判別能力，提高分類速度；同時，考慮融合圖像的HOG特征來提取邊緣和梯度特征以很好的抓住局部形狀的特點；融合GIST特征以提高圖像全局描述能力；融合PLBP以提高紋理特征空間信息表達不足的問題。進而運用基于RBF核函數的支持向量機實現特征融合之后的場景圖像分類。

為解決上述技術問題，本發明提供了如下的技術方案，依次包括如下步驟：

(1)場景圖像預處理

在實驗的預處理階段，對場景圖像進行灰度轉換等處理。進行Gist特征提取時，將圖像尺寸調整為256*256，提取其他特征時將圖像尺寸調整為300*300。

(2)特征提取