[發明專利]一種基于歸納型矩陣補全的大規模社交圖像自動標注算法

在審

• 申請號: 201710036828.6
• 申請日: 2017-01-18
• 公開（公告）號: CN107590167A
• 公開（公告）日: 2018-01-16
• 發明（設計）人: 陳蕾;劉夢迪;葉文采;周宇軒;楊庚;戴華
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/46;G06Q50/00
• 代理公司: 南京知識律師事務所32207
• 代理人: 李湘群

技術領域

本發明屬于計算機技術領域中的圖像自動標注技術領域，具體涉及一種基于歸納型矩陣補全的大規模社交圖像自動標注算法。

背景技術

隨著數碼技術和互聯網技術的迅速發展，出現了大量的社會化多媒體共享平臺，海量的圖像資源被互聯網用戶共享到這些平臺上。在如此大規模的圖像資源中，如何有效地管理和查詢所需資源成為了一個迫切需要解決的問題。在過去的幾十年里，計算機領域的研究人員從不同角度對其進行了大量研究。最初的一些研究是基于文本的圖像檢索，但其圖像標簽需要手工標注，耗時耗力、帶來主觀性和不精確性等問題；還有一些研究是基于內容的圖像檢索，但它存在底層視覺特征多樣性和“語義鴻溝”等問題。如今，它們都不能很好地滿足用戶進行圖像檢索的需求。

由于用戶習慣于使用標簽進行需求查詢，并且現有的互聯網搜索引擎大都是提供基于標簽的圖像檢索，但是手工標注帶來的問題使得圖像檢索的效率降低。為了解決這一問題，圖像自動標注逐漸被提出，并成為了諸多研究者關注的熱點。圖像自動標注能讓計算機自動給無標注或已部分標注圖像加上能夠反映圖像視覺內容的語義標簽，它也能很好地解決一定程度的“語義鴻溝”問題。大部分現有圖像自動標注算法往往要求數據集中的圖像被標注完整且精確地標簽。然而，如今社會化多媒體共享平臺上的圖像大都是被互聯網用戶進行上傳、編輯及共享的，它們允許用戶使用自定義的標簽進行圖像分類和管理，而互聯網用戶經常使用涉及上下文環境及個人心態的標簽進行圖像標注，這往往造成大多數圖像標簽都是不完整和不精確的，從而引起圖像標簽的缺失和含噪問題。為了解決圖像標簽的缺失和含噪問題，圖像標簽修正算法逐漸被提出來。經對現有文獻的檢索發現，Zhu等人將圖像標簽矩陣分解成低秩矩陣和噪聲稀疏矩陣，并利用圖像間語義和視覺特征一致性的約束條件優化圖像和標簽之間的對應關系完成圖像標簽的修正。Wu等人提出一種在圖像標簽矩陣的稀疏性制約下的最優化方法，通過最小化每幅圖像的標簽與圖像視覺內容之間的差異進行標簽的補全。Xia 等人提出一種正則化最優算法，通過非負矩陣分解算法和考慮圖像整體視覺離散度來改善圖像和標簽之間的相關關系，并在圖像標簽矩陣的稀疏性等制約下來進行標簽的補全。Feng等提出一種低秩矩陣恢復算法，通過引入圖拉普拉斯統計圖像特征和標簽之間的依賴性，并在圖像標簽矩陣的低秩性制約下完成圖像標簽的修正。

從上面提出的這些算法可以看出，現有的圖像自動標注算法對圖像標簽矩陣的低秩性和其所固有的稀疏性這兩種特性大多只考慮其一，在一定程度上影響了算法性能；而且現有大多數算法無法對新加入圖像或無標簽圖像進行標注，以及解決大規模應用問題。

發明內容

本發明的主要目的是用于解決圖像標簽的缺失和含噪問題、新加入圖像或無標簽圖像的標注問題及大規模應用問題，從而提高了圖像自動標注的準確性和規模性。

為了實現上述目的，本發明提出一種基于歸納型矩陣補全的大規模社交圖像自動標注算法，該算法采用了歸納性矩陣補全技術，同時融合了圖像標簽矩陣的低秩性及其固有稀疏性，并采用ADMM的改進算法進行大規模求解，其包括以下步驟：

(1)選擇大規模社交圖像數據集，對其進行預處理后，產生用于問題模型訓練的圖像標簽的采樣矩陣；

(2)根據圖像視覺內容和語義標注一致性原則，并利用圖像標簽的低秩性和稀疏性的融合以及歸納性矩陣補全技術，對圖像自動標注問題進行建模；

(3)引入并行多塊ADMM進行問題模型求解，得到問題模型的求解結果；對求解結果進行迭代更新求解，直至收斂或滿足終止條件得到最終所需結果，進而得到補全的圖像標注結果；

(4)對新加入的圖像進行圖像標注。

進一步，步驟1具體包括如下步驟：

(2-1)選擇大規模社交圖像作為數據集，對數據集中的圖像進行特征提取；

(2-2)提取圖像中底層視覺特征和圖像標注的語義特征，構建出圖像-特征矩陣和圖像-標簽矩陣；

(2-3)基于步驟2-2中所構建的矩陣，進行移除標記圖像過少的標簽等預處理，得到新的圖像-特征矩陣和圖像-標簽矩陣，其中圖像-標簽矩陣中的某些行可以是全零元素，即可以含有無標簽圖像；

(2-4)基于步驟2-3中的圖像-標簽矩陣，對其生成一個元素缺失且可能包含噪聲的圖像標簽的采樣矩陣，將其作為初始化圖像-標簽矩陣用于問題模型訓練。

步驟2中，所述圖像自動標注的問題模型表示如下：