[發明專利]結合圖像內部空間關系及視覺共生關系的圖像標注方法

有效

• 申請號: 201110382735.1
• 申請日: 2011-11-28
• 公開（公告）號: CN102495865A
• 公開（公告）日: 2012-06-13
• 發明（設計）人: 郭喬進;李寧;丁軼
• 申請（專利權）人: 南京大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

技術領域

本發明涉及一種基于上下文信息的圖像標注算法，尤其涉及一種結合圖像內部空間關系及視覺共生關系的圖像標注方法，屬于圖像處理技術領域。

背景技術

隨著Internet和數字圖像技術的發展，圖像數據海量增長，對圖像的組織、分析、檢索和管理等都是一個巨大的挑戰。人們對于圖像所包含的語義概念的興趣更加達到了前所未有的規模，從而迫切需要一種符合人類感知和認知機理、基于語義概念理解的圖像管理方法。圖像標注通過建立低層視覺特征與高層語義之間的映射關系，可以在一定程度上解決圖像檢索中存在的“語義鴻溝”問題。圖像標注可以分為手動標注和自動標注兩類。使用人工的方式進行圖像標注是最直接也是最有效的方式，但是這也是非常耗時耗力的一項工作，因此目前有很多目前有很多網站和組織鼓勵web上的廣大用戶為其提供的圖像進行標注。然而隨著圖像數量的急劇增長，光靠人工標注是不能滿足要求的，這也推動了圖像的自動標注方法的研究。

Hanbury等根據標注的形式將圖像的標注分為三種，基于關鍵詞的標注、基于本體的標注和基于自然語言的標注。在圖像標注的研究工作中，目前研究最多的是基于關鍵詞的標注。而圖像的區域標注是基于關鍵詞的圖像標注中常見的一種形式，上下文信息，包括空間關系、共生關系等在圖像區域標注中被廣泛的應用，并且有效的提高了圖像標注的準確性。其主要流程包括三部分：圖像分割、特征提取及標注算法。但現有圖像標注方法不能同時利用圖像中各種不同上下文信息。

發明內容

發明目的：針對現有技術中存在的問題與不足，本發明提供一種能同時利用圖像中各種不同上下文信息的結合圖像內部空間關系及視覺共生關系的圖像標注方法。

技術方案：一種結合圖像內部空間關系及視覺共生關系的圖像標注方法，包括如下步驟：

(1)利用過分割方法將每幅圖像分割為若干區域，該分割的目標是將圖像中的不同物體分割到不同的區域，使每個分割區域中只包含單一類別的物體；

(2)針對圖像中的每個區域，提取顏色、紋理、形狀、空間位置等特征信息，構成一組連續值的特征向量；

(3)利用Kmeans對所有的連續值的特征向量進行聚類，得到K個聚類中心，構成詞匯表V；

(4)利用詞匯表V對每個區域的特征向量進行量化，從而得到每個像素的視覺關鍵詞W；

(5)針對圖像中所有分割區域的空間位置關系，考慮相鄰區域之間的空間關系，建立一階馬爾可夫網絡模型；

(6)根據圖像中所有區域的視覺關鍵詞，統計其視覺關鍵詞直方圖，利用隱含狄利克雷分配對視覺關鍵詞之間的共生關系進行建模；

(7)結合圖像中各區域之間的空間關系和共生關系，建立一種結合一階馬爾可夫網絡和隱含狄利克雷分配的概率圖模型；

(8)利用人工標注的圖像數據集按照所述步驟(1)至(7)，分割、提取特征、量化、構造和訓練模型，得到一組模型的參數；

(9)針對未標注的圖像，利用訓練得到的參數初始化模型，并根據所提取的特征和視覺關鍵詞，對每個分割區域進行標注。

本發明的方法包括圖像的分割、特征提取及量化、一階馬爾可夫網絡模型及隱含狄利克雷分配的構造、模型參數的訓練以及未標注圖像的分類四個部分，其中步驟(1)至(4)描述了圖像的分割和視覺特征的提取以及視覺關鍵詞的構造過程，步驟(5)至(7)描述了一階馬爾可夫網絡模型及隱含狄利克雷分配的構造，以及兩種概率圖模型的結合，步驟(8)至(9)描述了如何基于上述概率圖模型進行圖像標注的訓練和分類問題。

有益效果：本發明的方法與現有技術相比，其顯著優點是：能夠有效解結合圖像中的空間位置信息以及視覺共生關系兩種不同的上下文信息來提高圖像標注的準確性，通過使用一階馬爾可夫網絡模型來描述圖像中相鄰區域的空間位置關系，以及通過利用隱含狄利克雷分配對圖像中的視覺共生關系進行建模，并據此結合兩種不同的概率圖模型，根據訓練數據集進行參數的優化，從而達到了更好的圖像標注準確性。

附圖說明

圖1是本發明實施例中的隱含狄利克雷分配模型；

圖2是本發明實施例中的一階馬爾可夫網絡模型；

圖3是本發明實施例中的一階馬爾可夫網絡和隱含狄利克雷分配的構造；

圖4是本發明實施例中結合一階馬爾可夫網絡模型及隱含狄利克雷分配模型的分類模型：隱含狄利克雷馬爾可夫網絡模型。

具體實施方式