[發明專利]基于標簽相關度的圖像增強方法及系統

在審

• 申請號: 202210830890.3
• 申請日: 2022-07-15
• 公開（公告）號: CN115187838A
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 竇全勝;郭建;唐煥玲;姜平;趙相陽
• 申請（專利權）人: 山東工商學院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/22;G06T5/00;G06V10/82
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于標簽相關度的圖像增強方法，其特征是，包括：

獲取訓練集；所述訓練集，包括已知分類標簽的原始圖像；

將訓練集中的原始圖像進行預處理后，輸入到特征提取網絡中，輸出一個特征圖；所述特征圖包括C個通道；C為正整數；

將所述特征圖輸入到注意力激活模塊進行F次卷積操作，得到注意力激活圖；所述注意力激活圖中有F個通道；F為正整數；從F個通道中選擇第j個通道；其中，j大于等于1且小于等于F；從第j個通道的注意力激活圖中找到與標簽相關聯的區域，將相關聯區域的像素值置零，將置零操作后第j個通道的注意力激活圖作為掩碼圖；

將原始圖像和掩碼圖進行運算，最終得到增強后的原始圖像；采用同樣的方式對訓練集的其他圖像進行增強，得到增強后的訓練集；

將增強后的訓練集輸入到分類網絡中對分類網絡進行訓練，得到訓練后的分類網絡。

2.如權利要求1所述的基于標簽相關度的圖像增強方法，其特征是，所述特征提取網絡，采用卷積神經網絡來實現。

3.如權利要求1所述的基于標簽相關度的圖像增強方法，其特征是，所述將訓練集中的原始圖像進行預處理后；其中預處理，是指對訓練集的每一個原始圖像進行尺寸歸一化處理。

4.如權利要求1所述的基于標簽相關度的圖像增強方法，其特征是，將訓練集中的原始圖像進行預處理后，輸入到特征提取網絡中，輸出一個特征圖；具體包括：

在每一個訓練步驟中，將訓練集中的一個原始圖像，輸入到特征提取網絡中，輸出特征圖；其中，所述特征圖包含C個通道，其中通道數是由卷積的次數所決定的。

5.如權利要求1所述的基于標簽相關度的圖像增強方法，其特征是，所述注意力激活模塊，采用1*1的卷積層來實現。

6.如權利要求1所述的基于標簽相關度的圖像增強方法，其特征是，所述從第j個通道的注意力激活圖中找到與標簽相關聯的區域，將相關聯區域的像素值置零，將置零操作后第j個通道的注意力激活圖作為掩碼圖；具體包括：

設定一個尺寸為a*b的矩形框；所述矩形框按照設定步長在第j個通道的注意力激活圖中進行滑動；

每滑動一次，就計算矩形框內圖像所有像素點的像素平均值；

如果矩形框內圖像所有像素點的像素平均值大于設定閾值，則表示矩形框內圖像與標簽相關度大，將矩形框內圖像所有像素點的像素進行置零操作，將置零操作后第j個通道的注意力激活圖作為掩碼圖；

如果矩形框內圖像所有像素點的像素平均值小于設定閾值，則表示矩形框內圖像與標簽相關度小，對矩形框內圖像所有像素點的像素保留原始值。

7.如權利要求1所述的基于標簽相關度的圖像增強方法，其特征是，將原始圖像和掩碼圖進行運算，最終得到增強后的原始圖像；具體是指：將原始圖像和掩碼圖進行點積運算，得到增強后的原始圖像；

將增強后的訓練集輸入到分類網絡中對分類網絡進行訓練，得到訓練后的分類網絡；其中分類網絡為卷積神經網絡。

8.基于標簽相關度的圖像增強系統，其特征是，包括：

獲取模塊，其被配置為：獲取訓練集；所述訓練集，包括已知分類標簽的原始圖像；

特征提取模塊，其被配置為：將訓練集中的原始圖像進行預處理后，輸入到特征提取網絡中，輸出一個特征圖；所述特征圖包括C個通道；C為正整數；

注意力激活模塊，其被配置為：將所述特征圖輸入到注意力激活模塊進行F次卷積操作，得到注意力激活圖；所述注意力激活圖中有F個通道；F為正整數；從F個通道中選擇第j個通道；其中，j大于等于1且小于等于F；從第j個通道的注意力激活圖中找到與標簽相關聯的區域，將相關聯區域的像素值置零，將置零操作后第j個通道的注意力激活圖作為掩碼圖；

圖像增強模塊，其被配置為：將原始圖像和掩碼圖進行運算，最終得到增強后的原始圖像；采用同樣的方式對訓練集的其他圖像進行增強，得到增強后的訓練集；

訓練模塊，其被配置為：將增強后的訓練集輸入到分類網絡中對分類網絡進行訓練，得到訓練后的分類網絡。