[發明專利]基于跨媒體稀疏主題編碼的圖像自動標注方法

在審

• 申請號: 201711242488.9
• 申請日: 2017-11-30
• 公開（公告）號: CN107943985A
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 劉均;宋凌云;羅敏楠;楊寬;張玲玲;阮建飛
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62;H03M7/30
• 代理公司: 西安通大專利代理有限責任公司61200
• 代理人: 徐文權

技術領域

本發明屬于計算機應用領域、圖像處理、數據挖掘，特別涉及一種基于跨媒體稀疏主題編碼的圖像自動標注方法。

背景技術

隨著互聯網的發展以及數碼設備的普及，圖像資源數據量以指數形式迅速增長。如何對圖像資源進行有效的檢索和管理是當前計算機視覺領域研究的重要課題。傳統的基于內容的圖像檢索使用了低層次的圖像特征，無法與高層語義之間建立很好的關聯，即存在語義鴻溝，使得檢索質量難以滿足要求。圖像的自動標注是通過已知圖像來建立圖像視覺特征空間與高層語義空間的映射或關聯關系，即將注釋詞和圖像兩種異構媒體數據投影到一個共享子空間，以達到預測未知圖像的標注詞的目標，進而彌補了“語義鴻溝”的缺陷。

近年來，大量研究人員致力于對未標注圖像自動分配注釋詞的研究。針對如何有效地進行圖像的自動標注，以下論文提供了不同的技術方案：

文獻1.Blei D M,Ng A Y,Jordan M I.Latent dirichlet allocation[J].Journal of machine Learning research,2003,3(Jan):993-1022.

文獻1基于概率主題模型去尋找圖像集的隱變量表示和注釋詞集合之間的條件關系。概率主題模型雖然實現了性能優越的圖像標注，但存在兩個限制：概率主題模型不能有效地控制潛在表示的稀疏性；概率主題模型在圖像與注釋詞之間有學習緊密相關性，意味著這種方法不適用于一個詞關聯多個圖像的場景。

發明內容

本發明的目的在于克服現有技術中存在的問題，提供一種基于跨媒體稀疏主題編碼的圖像自動標注方法，為用戶在圖像標注過程中提供相比于其他方法具有更高的準確率以及效率。

為了達到上述目的，本發明采用如下技術方案：

包括以下步驟：

步驟1、多媒體文檔的定義及表示：多媒體文檔由一張圖像和注釋詞組成，由圖像生成圖像詞，并利用詞袋模型將多媒體文檔中的注釋詞表示成向量，得到處理后的多媒體文檔；

步驟2、跨媒體稀疏主題編碼模型構建：根據處理后的多媒體文檔和概率主題模型，獲得圖像跨媒體稀疏主題編碼模型；

步驟3、利用最大后驗概率估計方法，獲得多媒體文檔中圖像詞、注釋詞和兩者的關系編碼變量的聯合分布式，并采用拉普拉斯先驗和超高斯對聯合分布式中的圖像詞編碼S、多媒體文檔編碼θ以及關系編碼Y進行建模；

步驟4、使用坐標下降法對提出的跨媒體稀疏主題編碼模型進行優化求解，之后計算圖像編碼和注釋詞編碼之間的余弦相似度進行圖像標注。

進一步地，步驟1中，把一個D維的多媒體文檔表示成語料庫(R^d,W^d)表示第d個多媒體文檔；

其中，R^d＝{r_i^d:i∈I^d}，I^d是在第d個多媒體文檔中出現的圖像詞的索引集合，r_i^d表示第i個圖像詞在第d個多媒體文檔中出現的次數；

J^d是指出現在第d個多媒體文檔中的注釋詞的索引集合，表示第j個注釋詞在第d個多媒體文檔中出現的次數；

語料庫中所有的圖像詞和注釋詞被表示成K個主題基的非歸一化分布向量，獲得圖像詞典和注釋詞詞典其中表示圖像詞典中第k行第m列的元素，φ_kn表示注釋詞詞典中第k行第n列的元素。

進一步地，步驟2中，首先分別從均勻分布上的和取樣初始化圖像詞典Ψ和注釋詞詞典Φ；假設每個圖像詞編碼i∈I^d由多媒體文檔編碼條件獨立地給出，每個圖像詞的出現次數r_i^d來自于平均參數為的分布；對于注釋詞j，得出關系編碼該編碼通過圖像詞編碼的線性組合來預測注釋詞編碼其中，同樣假設注釋詞出現次數遵循平均參數為的分布；對于第d個多媒體文檔(R^d,W^d)：

201、從p(θ^d)分布中抽樣，得到一個多媒體文檔編碼θ^d；

202、對多媒體文檔中的每一個圖像詞i∈I^d：

2021、從條件分布中抽樣得到該圖像詞編碼

2022、從條件分布中抽樣得到該圖像詞在多媒體文檔中出現的次數

203、對多媒體文檔中的每一個注釋詞j∈J^d：