[發明專利]一種基于重構圖的圖學習模型

有效

• 申請號: 201910342717.7
• 申請日: 2019-04-26
• 公開（公告）號: CN110097112B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 陳志奎;王勐;高靜;李朋;張清辰
• 申請（專利權）人: 大連理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉;李曉亮

一種基于重構圖的圖學習模型，屬于圖像標注領域，包括以下步驟：通過改進最近鄰算法，尋找測試圖像的語義最近鄰、對其構造相似矩陣，并通過隨機點積圖對圖像進行聚類，挖掘其內部聯系，得到加權相似矩陣，然后使用圖學習算法獲取初步圖像標注結果。利用標簽之間的關系進行標注，在這個過程中考慮標簽之間共現的不平衡性，引入最近的圖論模型，有效地解決標簽不平衡問題。隨機點積圖用于重建標簽的傳遞矩陣，解決圖像標簽共存的不對稱問題。此外，使用樸素貝葉斯最近鄰分類器來建立圖像和標簽之間的聯合似然函數。本發明針對圖像標簽存在的分類不平衡的特點，提出基于重構圖模型的圖像標注模型，能夠有效的提高標簽的召回率。

技術領域

本發明屬于圖像標注技術領域，涉及一種基于重構圖的圖學習模型，用于應對大數據背 景下圖像標注的問題。

背景技術

大數據時代的到來帶來了很多機遇，也帶來了更多的挑戰。隨著智能設備的普及和移動 網絡的發展，人們越來越喜歡在網絡上進行圖像分享，這產生了大量的圖像，這些圖像蘊含 著巨大的財富，因此，高效的圖像分析成為具有重大研究意義的熱點。然而這些海量的圖像 中存在大量沒標簽的圖像，對有效的挖掘圖像中的價值帶來了巨大的挑戰。圖學習模型是一 種典型的圖像標注方法，其基于無監督、半監督、有監督學習策略，共享相似圖像之間的標 簽，從而有效地對海量無標簽圖像進行標注。

然而現有的圖學習模型方法僅考慮了圖像間的視覺距離，忽略了圖像間的深層次關聯關 系，即具有相同標簽的圖像，在視覺上可能存在著巨大的差異，這將導致它們構造圖學習相 似矩陣時有著較大的視覺距離，但這并不符合實際情況。為了有效地深度挖掘圖像間的關聯 關系，因此本專利提出了一種基于重構圖的圖學習模型來有效地對圖像進行標注。

基于圖學習的圖像標注模型在設計過程中存在兩個大的挑戰：

(1)弱標簽現象：當前圖像數據集具有標簽不均衡的問題，即訓練集中有的標簽標記的 圖像數量遠超平均值，有些則低于平均值，會導致大數量標簽被選為測試圖像的標注詞的概 率較大。未能對所有的標簽進行充分的利用，無法提高圖模型的召回率，進而嚴重影響了圖 像標注的準確率。因此如何充分利用圖像集的所有標簽，提高圖模型的召回率，實現高精度 標注是圖像標注模型的關鍵問題。

(2)標簽共現不平衡現象：在圖像訓練集中，標簽之間會存在同時出現的現象。傳統的 標注模型在考慮標簽間的關系時，對兩個標簽之間共享相同的共現概率。然而標簽之間的共 現概率并不相同，因此有效地利用標簽之間的關系以及準確地對標簽之間共現不平衡現象進 行度量，使得標簽間的關系精確反映實際情況是圖像標注模型中亟需解決的問題。

基于重構圖的圖學習模型，其采用最近鄰策略，通過視覺相似度挖掘最近鄰圖像，從而 提升弱標簽的標注概率；同時其基于標簽間的共現概率，降低標簽共現不平衡的影響，提高 圖像標注的準確率。因此，圖像標注的問題主要體現在以下三個方面：

(1)標簽召回率過低問題：該問題是指在圖像進行標注時，對于部分標簽本身的標注次 數過少，這樣會導致在自動標注時被選中的概率大大降低。

(2)標簽共現不平衡問題：該問題是指標簽之間有共同出現的概率，但它們之間的共同 出現的概率并非完全相同。

(3)視覺模糊問題：該問題是指相同標簽的圖像存在較大的差異，導致它們之間的視覺 距離過大，使得該圖像被選為語義近鄰的可能性減小，影響圖像標注的精度。

發明內容

傳統的圖學習模型僅僅考慮圖像之間的加權視覺距離，并未深入考慮圖像之間的視覺模 糊問題，沒有挖掘圖像間的深層關系。因此，本發明提供了一種基于重構圖的圖學習標注模 型，通過重構圖學習模型的相似矩陣，發掘圖像之間內部關聯，同時利用標簽間的共現關系 以及標簽與圖像之間映射關系，從而提高圖像標注的標簽召回率與標注的準確性。

為了達到上述目的，本發明采用的技術方案為：