[發(fā)明專利]基于標簽相關度的圖像增強方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210830890.3
• 申請日: 2022-07-15
• 公開（公告）號: CN115187838A
• 公開（公告）日: 2022-10-14
• 發(fā)明（設計）人: 竇全勝;郭建;唐煥玲;姜平;趙相陽
• 申請（專利權）人: 山東工商學院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/22;G06T5/00;G06V10/82
• 代理公司: 濟南圣達知識產(chǎn)權代理有限公司 37221
• 代理人: 黃海麗

本發(fā)明公開了基于標簽相關度的圖像增強方法及系統(tǒng)；其中，所述方法包括：獲取訓練集；將訓練集中的原始圖像進行預處理后，輸入到特征提取網(wǎng)絡中，輸出特征圖；將所述特征圖輸入到注意力激活模塊進行F次卷積操作，得到注意力激活圖；所述注意力激活圖中有F個通道；從F個通道中選擇第j個通道；從第j個通道的注意力激活圖中找到與標簽相關聯(lián)的區(qū)域，將相關聯(lián)區(qū)域的像素值置零，將置零操作后第j個通道的注意力激活圖作為掩碼圖；將原始圖像和掩碼圖進行運算，最終得到增強后的原始圖像；采用同樣的方式對訓練集的其他圖像進行增強，得到增強后的訓練集；將增強后的訓練集輸入到分類網(wǎng)絡中對分類網(wǎng)絡進行訓練，得到訓練后的分類網(wǎng)絡。

技術領域

本發(fā)明涉及人工智能技術領域，特別是涉及基于標簽相關度的圖像增強方法及系統(tǒng)。

背景技術

本部分的陳述僅僅是提到了與本發(fā)明相關的背景技術，并不必然構成現(xiàn)有技術。

基于卷積神經(jīng)網(wǎng)絡模型的圖像識別技術已經(jīng)廣泛應用到我們的生活之中，但是由于現(xiàn)實生活中的場景復雜多變，模型的魯棒性受到了很大的挑戰(zhàn)，大多數(shù)識別模型面對這些噪聲數(shù)據(jù)時都會出現(xiàn)識別效果不佳的情況，針對這種現(xiàn)象，研究人員提出在處理數(shù)據(jù)階段就將這些干擾加入進去，然后利用增強后的數(shù)據(jù)來訓練模型，以此提高模型的魯棒性和泛化性。

數(shù)據(jù)增強是一種有效的正則化手段，相比較于其他正則化方法，數(shù)據(jù)增強具有易實現(xiàn)，不會額外增加計算量并且可遷移性強等優(yōu)點。

目前卷積神經(jīng)網(wǎng)絡常用的數(shù)據(jù)增強方式除了傳統(tǒng)的幾何變換還包括對圖像像素空間的擾動等方式，近幾年來，一種基于信息擦除的數(shù)據(jù)增強方法被提出，使其一下成為了研究熱點，這類方法的原理是通過某種策略刪除輸入圖像上的連續(xù)像素信息，雖然經(jīng)過大量的實驗證明，這些方法可以顯著提高深度學習模型的泛化性和魯棒性，但是它們都避免不了過擦除和欠擦除的問題，過擦除是指擦除區(qū)域過大，從而將目標全部擦除，剩余的圖像信息不足以對其分類，反而會給模型帶來噪聲，欠擦除是指擦掉與目標無關的背景區(qū)域，不能給模型帶來效果提升。

所以在后續(xù)的研究中，一些研究者將圖片分成一個4*4大小的圖像塊，并采用0.5的概率來隨機選擇擦除掉每一塊區(qū)域，雖然有所改善，但是還是沒有解決這兩個問題。還有一些研究者試圖通過提取顯著圖的方法來避免這個問題，具體做法是：首先通過顯著圖提取圖片中目標的關鍵特征，之后在選擇擦除區(qū)域的時候設置一個閾值，低于該閾值的區(qū)域可以被擦除掉，從而可以避免過擦除的問題，但是這個方法并沒有解決欠擦除的問題。

發(fā)明內容

為了解決現(xiàn)有技術的如何在信息擦除方面選擇合適的擦除區(qū)域，本發(fā)明提供了基于標簽相關度的圖像增強方法及系統(tǒng)；

第一方面，本發(fā)明提供了基于標簽相關度的圖像增強方法；

基于標簽相關度的圖像增強方法，包括：

獲取訓練集；所述訓練集，包括已知分類標簽的原始圖像；

將訓練集中的原始圖像進行預處理后，輸入到特征提取網(wǎng)絡中，輸出一個特征圖；所述特征圖包括C個通道；C為正整數(shù)；

將所述特征圖輸入到注意力激活模塊進行F次卷積操作，得到注意力激活圖；所述注意力激活圖中有F個通道；F為正整數(shù)；從F個通道中選擇第j個通道；其中，j大于等于1且小于等于F；從第j個通道的注意力激活圖中找到與標簽相關聯(lián)的區(qū)域，將相關聯(lián)區(qū)域的像素值置零，將置零操作后第j個通道的注意力激活圖作為掩碼圖；

將原始圖像和掩碼圖進行運算，最終得到增強后的原始圖像；采用同樣的方式對訓練集的其他圖像進行增強，得到增強后的訓練集；

將增強后的訓練集輸入到分類網(wǎng)絡中對分類網(wǎng)絡進行訓練，得到訓練后的分類網(wǎng)絡。

第二方面，本發(fā)明提供了基于標簽相關度的圖像增強系統(tǒng)；

基于標簽相關度的圖像增強系統(tǒng)，包括：