[發明專利]基于三維點云模型的地標建筑圖像分類方法

無效

• 申請號: 201110080111.4
• 申請日: 2011-03-31
• 公開（公告）號: CN102147812A
• 公開（公告）日: 2011-08-10
• 發明（設計）人: 徐常勝;肖憲;王金橋
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06T17/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 梁愛榮

技術領域

本發明屬于計算機視覺和多媒體分析技術領域，涉及基于三維點云模型的地標建筑圖像分類方法。

背景技術

隨著圖像共享網站(如Facebook和Flickr)的發展，越來越多的旅游圖像被上傳到網絡上。在這些旅游圖像中，地標建筑圖像(如圖1)是其中最吸引人們注意的之一。有些地標建筑圖像在上傳的時候已經被標注好了，但是更多的是沒有標注的圖像。由于地標建筑圖像在拍攝的時候處于不同的環境下，例如光照，視角，鏡頭拉近和遮擋等，如圖1中示出：美國國會圖片中的上幅國會大樓，下幅示出將鏡頭拉近的國會大樓；比薩斜塔圖片中的上幅示出一座大樓、人和比薩斜塔，下幅示出不同視角的人和比薩斜塔；巴黎圣母院圖片中的上幅巴黎圣母院整體建筑圖像，下幅示出黎圣母院的局部建筑圖像；自由女神像圖片中的上幅自由女神像整體建筑圖像，下幅示出不同視角自由女神像的局部建筑圖像；姬路城圖片中的上幅和下幅示出的是不同視角的建筑圖像；布達拉宮圖片中的不同光照是的建筑圖像；根據圖1的說明可知對于同一個地標建筑的圖像可能表現出不同的形式。用已經標注好的地標建筑圖像去分類沒有標注在不同環境下拍攝的地標建筑圖像是一個難題。

對于圖像分類的研究已經很多年了，相對于傳統的圖像分類而言，地標建筑的分類又有很大的不同。首先，地標建筑的唯一性就決定了針對于同一個地標建筑的圖像都是同源的。其次，由于拍攝角度，拍攝時間，拍攝時候的環境等原因，同一個地標建筑的圖像很可能會有眾多不同的表現形式。由于地標建筑具有唯一性和多種的表現形式，地標建筑圖像分類更加困難，并且漸漸脫離圖像分類成為一個獨立的研究課題?，F有的研究工作可以大體上分為三類：

1).基于詞帶(Bag?of?Words)的方法；

2).基于空間金字塔匹配(Spatial?Pyramid?Matching)的方法；

3).基于代表性圖像集的方法。

但是這些已有的研究中，都是使用地標建筑圖像的全局特征或者是全部的局部特征來表示一個圖像的，那些來自非地標建筑區域的特征限制了地標建筑圖像分類的準確度。而且，地標建筑本身的特殊性，在以往的方法中都沒有被利用。任何一個地標建筑，都有它獨有的一些引人注意的局部位置，人們也對這些位置拍攝了很多的圖像，如果能夠將這些局部熱門位置引入到圖像分類中的工作中，相信能夠更好的地標建筑圖像分類結果。

發明內容

為了解決現有技術地標建筑圖像分類的準確率低的技術問題，本發明的目的是提出一種利用三維點云模型來描述和收集地標建筑特征來提高地標建筑圖像的分類結果，為此提供了一種基于三維點云模型的地標圖像分類方法。

為達到上述目的，本發明提供的基于三維點云模型的地標圖像分類方法的技術方案是通過三維點云模型模型獲取地標建筑圖像的地標建筑信息，并提高地標建筑圖像的分類效果，包括步驟如下：

步驟S1：從有標注的地標建筑圖像集合中，經過概要性全局特征描述符聚類、候選集選擇和幾何約束判定，選擇出有利于對地標建筑圖像三維重建的代表性圖像；

步驟S2：對選擇出的代表性圖像進行視覺關注度分析，獲得地標建筑圖像中的視覺關注區域，并利用運動恢復結構的方法，對地標建筑圖像的視覺關注區域進行三維重建，獲得重建地標建筑的三維點云模型；

步驟S3：利用投影矩陣，將步驟S2所述三維點云模型投影到與三維點云模型相對應的地標建筑圖像中，并依靠投影點的分布識別整體圖像和局部圖像，并從局部圖像類別中選取部分有利于三維重建的局部圖像，將有利于三維重建的局部圖像送入步驟S2，再執行步驟S2的操作，得到包含局部增強信息的重建地標建筑的三維點云模型；

步驟S4：將獲得的局部增強的地標建筑三維點云模型投影到與局部增強的地標建筑三維點云模型相對應的地標建筑圖像中，獲得每張地標建筑圖像的地標建筑區域，提取地標建筑區域中的局部特征并建立K維搜索樹，提取無類別標注地標建筑圖像的局部特征并與K維搜索樹進行特征匹配，最終利用K維搜索樹進行特征匹配，得到匹配數最多的地標建筑K維搜索樹所對應的類別為無類別標注地標建筑圖像類別。

優選實施例，有標注的地表建筑圖像的代表性圖像的選取的步驟包括：

步驟S11：先用概要性全局特征描述符聚類所有的地標建筑圖像到K個聚類類別；

步驟S12：對于每一個聚類類別，計算其類內地標建筑圖像相互之間局部特征匹配數，并將每個聚類類別中的圖像按照總匹配數降序排列，選擇出按照K計算出的排名最前的已知數量的圖像作為候選集合；