[發明專利]一種基于子圖匹配的室內場景對象語義標注方法

有效

• 申請號: 201711270750.0
• 申請日: 2017-12-05
• 公開（公告）號: CN108038498B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 李素琴;王立春;張勇;孔德慧;王玉萍;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

本發明公開一種基于子圖匹配的室內場景對象語義標注方法，利用實例圖建模待標注場景中對象間的上下文關系，利用知識圖建模語義類別間的上下文關系，通過子圖匹配算法尋找實例圖對應的知識圖子圖，實現對象到語義類別的映射，為室內場景中的每一個對象提供語義標簽。

技術領域

本發明屬于多媒體技術領域，尤其涉及一種基于子圖匹配的室內場景對象語義標注方法。

背景技術

室內場景對象語義標注是室內場景解析的核心任務之一，其基本目標是為對象層次的分割區域提供語義標簽。在語義標注領域，室內場景語義標注因為其內在的固有屬性(即，存在大量的語義類別，物體間存在遮擋以及視覺特征缺乏較強辨識能力等問題)，受到了越來越多的關注。與目標識別關注特殊前景對象不同，語義標注需要一次性處理場景中的所有對象，并將對象分成若干類。研究表明在室內場景語義標注中引入對象級別的上下文先驗，有助于提高語義標注的準確性。根據是否利用對象級別的上下文先驗，室內場景語義標注方法大致可分為兩類，一類是上下文無關的語義標注，一類是上下文相關的語義標注。

上下文無關的語義標注方法首先提取待標注區域的特征表示，然后基于特征表示利用分類器計算語義標簽。常用分類器包括：決策樹、樸素貝葉斯、人工神經網絡、KNN(K-Nearest Neighbour)、SVM(support vector machines)等。決策樹是非參數的，所以不需要擔心離群點和數據是否線性可分，例如，決策樹可以輕松處理這種情況：屬于A類樣本的特征x取值往往非常小或者非常大，而屬于B類樣本的特征x取值在中間范圍。決策樹的主要缺點是容易過擬合。樸素貝葉斯模型發源于古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。理論上，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率，但實際上并非總是如此。這是因為樸素貝葉斯模型假設屬性之間相互獨立，而這個假設在實際應用中往往是不成立的。人工神經網絡雖然具有分類準確度高，并行分布處理能力、學習能力和魯棒性強等特點，但是需要大量的參數(如，網絡拓撲結構、權值和閾值的初始值)，不能觀察學習過程，輸出結果難以解釋。KNN是一種簡單有效的分類方法，重新訓練的代價較低，該算法適用于樣本容量比較大的類域的自動分類，而對于樣本容量較小的類域，采用這種算法容易產生誤分。相對的，SVM可以解決小樣本情況下的機器學習問題，提高泛化性能，解決高維和非線性問題，避免神經網絡結構選擇和局部極小點問題。關于復雜分類器，Couprie等采用一種多尺度卷積網絡，從場景圖像中非監督地學習特征描述子。分類器可以為每個像素進行語義標簽推斷并將推斷結果融合至超像素中，獲取非監督的圖像語義標注結果。該方法的缺點在于需要大量的模型訓練時間。關于簡單分類器，P Guo等提出一種優化SVM分類器用于圖像語義標注，將用于優化訓練集的基于近鄰傳播算法的LVQ(Learning VectorQuantization)技術和用來訓練SVM的一些代表性特征向量相結合。該方法不僅滿足了SVM的小樣本特性，而且大大加快了訓練和標注過程。

上下文相關的語義標注在以上方法的基礎上兼顧待標注區域間的語義關系，其中有大量的相關研究工作采用了MRF(Markov random field)和CRF(conditional randomfield)概率圖模型進行上下文建模?；贛RF，Ren等提出了一種語義標注性能較為優越的室內場景語義標注方法。該方法充分利用超像素區域層次化結構來構建樹狀模型，并將樹狀模型與MRF概率圖模型結合，使用已訓練的1-vs-all線性SVM分類器，為RGB彩色圖像中的每一個超像素賦予語義類別標簽。MRF是一種生成模型，必須先得出變量的概率模型參數，再進行推斷任務。由于需要考慮觀察變量y和標簽變量x的概率分布問題，這本身就是一個非常困難的問題。當我們的興趣點在于標簽而不是原始像素y的分布時，并沒有必要花費資源考慮y的概率分布問題。CRF便是在這一點的基礎上提出的一種判別式無向概率圖模型。Xiong等擴展傳統二維視覺中的網格CRF模型到三維空間，充分挖掘和利用任意三維對象之間的空間上下文信息，如平行、正交、鄰接和共面，并根據四類幾何標簽(墻壁，地板，天花板，雜物)標記室內場景。