[發明專利]一種基于多視圖和半監督學習機制的圖像標注方法

有效

• 申請號: 201410108060.5
• 申請日: 2014-03-21
• 公開（公告）號: CN103955462B
• 公開（公告）日: 2017-03-15
• 發明（設計）人: 朱松豪;陳玲玲;李向向
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/66
• 代理公司: 南京知識律師事務所32207
• 代理人: 汪旭東

技術領域

本發明涉及計算機圖像處理技術領域，特別涉及一種基于多視圖和半監督學習機制的圖像標注方法。

背景技術

隨著越來越多的數字圖像出現在網絡、個人電腦和數字采集設備上，要求采用基于內容分析技術實現有效組織和管理如此海量圖像信息的愿望也愈來愈強烈。其中，圖片標注是實現基于內容的圖像索引、檢索及其它相關應用的最重要和最關鍵的一步，其目的是要在底層的視覺信息和高層的語言描述間建立一種精確的對應關系。

近年來，研究者提出了各種各樣解決圖像標簽方案。例如嵌入式深信度網絡法、協方差判別法、雙線性深度學習法、局部與全局信息法、可分離主成分分析法、圖論法、二維多標簽主動學習法、以及小波特征度量法、高階統計法、稀疏編碼法等等。這些現有的方法主要研究如何給圖像分配合適的標簽，以描述出圖像的語義內容。圖片標注是實現基于內容的圖像索引、檢索及其它相關應用的最重要和最關鍵的一步，其目的是要在底層的視覺信息和高層的語言描述間建立一種精確的對應關系。而本發明能夠很好地解決上面的問題。

發明內容

本發明目的在于克服現有圖像標注方法的不足，提供一種基于多視圖和半監督學習機制的圖像標注方法，該方法結合多視圖學習和半監督學習理論，能更好的反映圖像的視覺內容。

本發明解決其技術問題所采取的技術方案是：本發明提供了一種基于多視圖學習機制和半監督學習機制的圖像標注方法，該方法包括以下步驟：

方法流程：

步驟1：基于不相關視覺特征的多視圖分類器學習過程；

從圖像中提取小波紋理、顏色直方圖和邊緣方向直方圖等足夠多的互不相關的視圖；

使用基于標記圖像集合訓練視圖分類器。

步驟2：基于標記樣本和具有較高可信度偽標記樣本的多視圖分類器優化過程；

得到視圖下偽標記樣本屬于某個標注的概率：

利用高斯距離得到不同視圖分類器間標注性能的差異值；

在任意兩視圖分類器標注性能差異值度量的基礎上，得到所有視圖分類器標注性能的差異值；

對于視圖而言，當未標記樣本間所有標注的一致度達到最大時，則基于視圖的分類器集合的性能達到最優。

步驟3：基于最大熵投票原則和標注間相關性的多視圖標注過程。

在所有語義標注中，語義標注列表中的第一個語義標注---類別標注，它從語義上描述了圖像中主要的視覺內容；而標注列表上的其它標注則用以表示標注間的相關性。

因此，本發明的標注過程由如下兩部分組成：1.類別標注的生成，它是在利用優化的多視圖分類器產生標注結果的基礎上，利用最大熵投票得到；2.利用相關性，依次得到標注列表中的其它標注。

附圖說明

圖1為本發明的方法流程圖。

圖2為Flickr圖像集上的典型圖像示意圖。

圖3為不同分類方法間的性能比較示意圖。

圖4為不同數量的標記樣本和偽標記樣本的組合下，不同分類方法間的性能比較示意圖。

圖5為本發明的實驗結果示例圖。

具體實施方式

下面結合附圖對本發明的技術方案進行詳細說明。

如圖1所示，本發明提供了一種基于多視圖和半監督學習機制的圖像標注方法，該方法是首先從圖像提取類似小波紋理、顏色直方圖和邊緣方向直方圖等互不相關的視圖特征，然后依據這些提取的視圖進行視圖分類器的訓練，最后利用訓練后的視圖分類器對每個偽標記圖像進行標記。已標記樣本和部分具有較高可信度的偽標記樣本對視圖分類器進行優化，以得到標注性能優良的視圖分類器；以優化后的視圖分類器對未標記圖像分配的標注為基礎，使用最大熵投票原則和標注間的相關性，得到優化的標注結果。

本發明的基于多視圖學習機制和半監督學習機制的圖像標注方法的一個優選實施方式，具體包括以下步驟：

步驟1：基于不相關視覺特征的多視圖分類器學習過程

1、像中提取小波紋理、顏色直方圖和邊緣方向直方圖等足夠多的互不相關的視圖；

2、于標記圖像集合{x₁,x₂,…,x_l,…,x_L}訓練第V個視圖分類器h_v：

h_v:x_lv→y_k,l∈(1,L),v∈(1,V),y_k∈Y??????(1)

步驟2：基于標記樣本和具有較高可信度偽標記樣本的多視圖分類器優化過程