[發明專利]一種基于局部性約束和顯著性的圖像分類方法

在審

• 申請號: 201710637610.6
• 申請日: 2017-07-31
• 公開（公告）號: CN107967481A
• 公開（公告）日: 2018-04-27
• 發明（設計）人: 梁曄;馬楠;李華麗;宋恒達;陳強;昝藝璇;蔣元;胡路明
• 申請（專利權）人: 北京聯合大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京馳納智財知識產權代理事務所(普通合伙)11367
• 代理人: 謝亮

技術領域

本發明涉及計算機視覺的技術領域，特別是一種基于局部性約束和顯著性的圖像分類方法。

背景技術

圖像分類方法一般都會經過圖像的特征編碼過程。原始的BoF方法采用硬指派的方法對局部描述子進行編碼。硬指派指局部特征分配給視覺字典中最近的視覺詞，被分配的視覺詞對應的編碼為1，其余的視覺詞的編碼為0。硬指派編碼方法的問題是：對字典的失真錯誤非常敏感；硬指派方法僅僅選擇了最近的視覺詞，忽略了其它相關的視覺詞。針對硬指派方法的缺點，軟量化是一個特征描述子用多個視覺詞來描述。軟量化的優點是概念簡單、計算有效，整個計算過程不需要優化。稀疏編碼[H.Lee,A.Battle,R.Raina,A.Y.Ng.Efficient sparse coding algorithms:Proceedings of Advances in Neural Information Processing System,2006[C].2006:801-808.]屬于軟量化的編碼方法，大大提高了編碼的魯棒性。稀疏編碼可以看做基向量的稀疏子集的線性組合，并通過l₁范式進行正則化的近似。稀疏編碼在優化的時候計算量太大，并會產生相似的描述子編碼是不一致的問題。針對這些問題，K.Yu[J.Wang,J.Yang,K.Yu,F.Lv,T.Huang,and Y.Gong.Locality-constrained linear coding for image classification:Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,2010[C].San Francisco,CA,USA:IEEE Computer Society,2010:3360-3367.]認為描述子位于臨近描述子的低維流形空間內，將描述子分配給臨近空間內的視覺詞才是有意義的，因此在編碼的時候應該選擇局部基才是合理的。研究人員基于局部性約束提出了多個編碼方法。雖然提出了多種編碼方法，但是如果在編碼的過程中融入更多的信息仍然是值得研究的問題。

申請號為CN105426919A的發明專利申請公開了一種基于顯著性指導非監督特征學習的圖像分類方法，該圖像分類方法包括顯著性指導的像素點采集、非監督特征學習、圖像卷積、局部對比歸一化、空間金字塔池化、融合中央先驗和圖像分類。采用該分類方法，將顯著性檢測用于采集圖像數據集中代表性的像素點，通過稀疏自編碼這種非監督的特征學習方法訓練代表性的像素點來獲取高質量的圖像特征。通過圖像卷積操作獲取訓練集和測試集的特征，將卷積特征進行局部對比歸一化和空間金字塔池化，將池化后的特征與中央先驗特征進行融合，采用liblinear分類器對圖像進行分類。該方法采用深度學習網絡對圖像進行分類，過程相對比較復雜。

申請號為CN103824079A的發明申請公開了一種基于多層次模式子塊劃分的圖像分類方法，該方法包括以下步驟：提取圖像多尺度下的顯著性區域分布圖，并根據顯著性區域分布采樣不同位置和大小的窗口；對圖像實施超像素分割，通過分析每個窗口與其內外鄰近超像素的位置和分布關系確定每個窗口出現目標的概率，構造多層次模式子塊；對每一個子塊做多字典特征描述，然后將其組織為張量模式用做圖像的特征描述；對圖像的張量描述做典范相關分析，提取圖像特征向量，最后通過分類器進行分類。該方法僅適用于多目標圖像場景的圖片，并不適合所有的圖片進行分類。

發明內容

為了解決上述的技術問題，本發明提出一種基于局部性約束和顯著性的圖像分類方法，一方面考慮了近鄰的局部性約束，并以近鄰距離局部特征的距離作為編碼的依據，另一方面考慮了顯著性在圖像編碼中的作用。

本發明提供一種基于局部性約束和顯著性的圖像分類方法，包括對圖像進行訓練，還包括以下步驟：

步驟1：對測試圖像提取局部特征因子，集合為X；

步驟2：對所述測試圖像進行局部性約束的編碼計算；

步驟3：對所述測試圖像進行顯著性計算；

步驟4：將像素的顯著值和編碼值進行融合得到基于顯著性的編碼值；

步驟5：對所述測試圖像采用空間金字塔模型進行特征池化操作，得到圖像級特征f；

步驟6：將所述圖像級特征f輸入到SVM分類器進行測試，得到分類類標。

優選的是，所述訓練包括以下步驟：

步驟01：構建訓練集D；