[發明專利]一種多標簽社交網絡圖像的標注方法及系統

在審

• 申請號: 202011045407.8
• 申請日: 2020-09-29
• 公開（公告）號: CN112182274A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 李澤超;練連榮
• 申請（專利權）人: 南京理工大學;南京浩翔基礎軟件研究院有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06K9/62;G06N3/04
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 崔玥

本發明公開一種多標簽社交網絡圖像的標注方法及系統，涉及社交網絡圖像標注技術領域，方法包括：獲取圖像數據集；根據圖像數據集得到第一標簽矩陣；利用柯西分布對第一標簽矩陣進行去噪處理，得到第二標簽矩陣；將圖像數據集輸入Resnet50殘差網絡，得到圖像提取特征矩陣；將所述第二標簽矩陣和所述圖像提取特征矩陣輸入CNN網絡進行訓練和優化，得到優化后的CNN網絡；確定待標注特征向量；將待標注特征向量輸入優化后的CNN網絡中，得到待標注圖像的標簽。本發明能夠實現對弱監督社交網絡圖像標簽進行準確標注。

技術領域

本發明涉及社交網絡圖像標注技術領域，特別是涉及一種多標簽社交網絡圖像的標注方法及系統。

背景技術

近年來隨著社交網絡的蓬勃發展，海量的社交網絡圖像在被網絡用戶共享和瀏覽。海量的圖像數據使得精確檢索變得困難，故現在迫切需要有效的圖像檢索技術?；跇撕灥膱D像檢索是通過建立圖像和標簽之間的語義關系來進行的。圖像標注對圖像檢索十分重要。目前，用戶提供的標簽雖然可以在一定程度上描述視覺內容信息，但是這些標簽是不準確的。用戶提供的標簽可能只有一半可以描述圖像的視覺內容。這是因為現實中社交網絡標簽通常是不完整、不準確的，甚至有非常大比例的圖像是沒有標簽的(如MIRFlickr數據集中有超過50％的圖片沒有標簽)，可見用戶提供的標簽是弱監督的。而這會增加相關多媒體任務的困難，所以通過學習圖像視覺信息和標簽語義之間的內在聯系來提高社交圖像的標簽質量是非常必要的。

對于社交網絡圖像的重標注(多標簽標注)問題，之前的工作提出了多種解決方法，例如采用矩陣分解來最小化噪聲，從而學習圖像-標簽的內在關系。另外還有通過驗證重標注標簽矩陣的低秩性，來考慮圖像視覺特征的一致性和標簽之間的相關性。以及基于低秩非負模型，通過引入兩個潛在因子矩陣來分離優化函數，來更好的減小重標注標簽和觀測標簽之間的差別，并得到更理想的圖像-標簽關系模型。上述工作都驗證了低秩非負模型在社交圖像重標注任務中的有效性。

在前人的工作中，基于模型泛化能力的考慮，通常采用平方損失函數作為目標函數。這其中隱含的基本假設是社交標簽中的噪聲是服從高斯分布的。由于中心極限定理的特點，高斯概率密度函數被廣泛應用于信號處理和圖像分析等領域中。高斯分布可以很好的擬合最常出現的白噪聲。但是在現實中，數據噪聲的內在概率分布是未知的，可能存在各種類型的噪聲。在真實噪音中，噪音源往往是多樣的。假設噪音是由多個不同概率分布的隨機變量加合而成，并且每一個隨機變量都是獨立的，那么根據中心極限定理，噪音分布隨著噪音源數量的上升趨近于高斯分布。但是高斯分布能有效解決小噪聲，對于大噪聲過于敏感，而社交圖像屬于大噪聲。

在圖像標注任務中，圖像特征對模型訓練具有顯著意義，具有更深語義的圖像特征能顯著提升訓練效果。在很多工作中都采用了傳統的特征提取方法(如Gist、SIFT、HOG)，這會導致深層語義的丟失。

目前，社交圖片的多標簽標注主要從兩方面解決：標簽相關性研究以及圖片-標簽關系研究。標簽相關性研究主流方法是對標簽矩陣進行矩陣分解，先進方法如：Li Z,TangJ.Weakly-supervised deep nonnegative low-rank model for social image tagrefinement and assignment(WDNL模型)，但是該方法沒有對標簽噪聲進行分析，而在實際數據中，標簽噪聲分布未知。而對于圖像-標簽關系的研究，大多采用深度學習方法?，F有的模型包括DMF、MPMF、LSCCA、TCCA、DNMF、WDMF、WDNL和DCE等模型，均存在無法對弱監督社交網絡圖像標簽進行準確標注的問題。

發明內容

本發明的目的是提供一種多標簽社交網絡圖像的標注方法及系統，從而實現對弱監督社交網絡圖像標簽進行準確標注。

為實現上述目的，本發明提供了如下方案：

一種多標簽社交網絡圖像的標注方法，所述方法包括：