[發明專利]一種弱監督的深度上下文感知圖像表征方法及系統

有效

• 申請號: 202011587005.0
• 申請日: 2020-12-28
• 公開（公告）號: CN112667841B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 劉萌;田傳發;周迪;齊孟津;聶秀山
• 申請（專利權）人: 山東建筑大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/55;G06V10/77;G06V10/764;G06V10/82;G06N3/0464;G06N3/0895
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了一種弱監督的深度上下文感知圖像表征方法及系統，包括：獲取待處理圖像；對待處理圖像進行表征提取，提取出基礎視覺表征；基于基礎視覺表征，生成上下文強化視覺表征；對上下文強化視覺表征映射為哈希向量；對哈希向量，進行二值化處理，得到待處理圖像的哈希表征。該方法充分捕獲了圖像的語義信息，并在一個統一的框架內增強了圖像表征的辨別力。本發明引入了辨別損失，強制圖像表征重新生成標簽。這樣可以增強圖像表征的區分性，且進一步提高哈希碼的質量；相較于之前的方法，本發明提高了基于哈希表征的圖像檢索性能。

技術領域

本申請涉及圖像表征技術領域，特別是涉及一種弱監督的深度上下文感知圖像表征方法及系統。

背景技術

本部分的陳述僅僅是提到了與本申請相關的背景技術，并不必然構成現有技術。

隨著社交網絡和移動智能手機的普及，大量的圖片被網民記錄和分享。為了克服海量圖像帶來的存儲成本，同時滿足高效圖像檢索的需求，圖像哈希表征學習越來越引起人們的研究興趣。受深度神經網絡在表征學習方面成功的啟發，人們的研究重點已經轉向到探索深度圖像哈希表征學習方法上。盡管它們取得了令人滿意的進展，但大多數工作都是有監督的學習方法。換句話說，它們依賴于多個類別的大量標注圖像，標注成本是非常昂貴的，故不適用于真實的應用中。我們知道，社交圖片與用戶提供的標簽是相關聯的，這些標簽信息在一定程度上可以描述圖片的語義信息。更重要的是，與圖像類別標注信息相比，用戶標簽信息更容易獲得。鑒于此弱監督的深度圖像哈希表征學習，即利用用戶標簽作為監督信息而不是圖像類別標注來學習哈希函數，是非常必要的。

但是，僅僅通過用戶的標簽信息來學習圖像哈希函數并不簡單，原因如下：

1)在社交媒體平臺上，用戶提供的標簽并不完善。換句話說，它們可能與圖像的類別沒有直接的聯系。例如，一幅圖像對應的用戶標簽是“教堂”，“建筑”和“尖塔”，而它的類別卻是“天空”。此外，由于社交媒體用戶注重自我、喜歡個性表達等特點，致使與圖片相關的標簽通常是主觀的或與內容無關的(如：美好的，漂亮的)。因此，如何從用戶標簽中挖掘有效的監督信息成為一個關鍵問題。

2)為了更好地學習用于圖像檢索的哈希表征，提取圖像的細粒度語義信息至關重要。這樣可以進一步增強圖像與其對應語義標簽之間的匹配。因此，如何全面理解圖像的內容，提取有用的語義信息是迫切需要解決的問題。

現階段，據我們所知，只有一個基于深度學習的弱監督圖像哈希表征學習方法，該方法利用標簽嵌入或二值化標簽向量作為監督信息進行圖像哈希表征學習。雖然取得了不錯的性能，但它有幾個關鍵的缺點：

1)基于二進制標簽向量的學習模型認為兩幅圖像共享至少一個用戶標簽，它們就是相似的，這是不合理的。因為實際生活中，兩幅圖像共享用戶標簽，但它們的類別可能完全不同；

2)將整張圖像全局編碼當作視覺表征，這樣一個緊湊的表示很難捕獲圖像中的細粒度語義細節。因此，弱監督的深度圖像哈希表征學習仍處于起步階段，仍有待進一步探索。

發明內容

為了解決現有技術的不足，本申請提供了一種弱監督的深度上下文感知圖像表征方法及系統；具體來說，我們設計了一種新的圖像編碼器來增強圖像內容的理解，它可以自適應地捕獲有意義的區域上下文信息，并將它們聚合成新的圖像表征。此外，由于監督信息薄弱，即用戶的標簽信息，可能會影響圖像表征的區分性，我們引入了辨別損失來緩解這一問題。它迫使圖像表征重新生成與其相關的標簽信息，從而加強了圖像和標簽之間的對齊，以及學習到的哈希碼的表征能力。最后，利用學習到的圖像哈希碼，可以有效地進行大規模圖像檢索。

第一方面，本申請提供了一種弱監督的深度上下文感知圖像表征方法；

一種弱監督的深度上下文感知圖像表征方法，包括：

獲取待處理圖像；