[發明專利]一種表面壓印字符圖像的無監督分割方法

在審

• 申請號: 202110902063.6
• 申請日: 2021-08-06
• 公開（公告）號: CN113627436A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 韓宗桓;劉名果;陳立家;田敏;蘭天翔;梁倩;代震;王贊
• 申請（專利權）人: 河南大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種表面壓印字符圖像的無監督分割方法，其特征在于，其步驟如下：

步驟一：構建網絡訓練樣本；

步驟二：為滿足語義分割任務需要，改進型循環式生成對抗網絡是一種表面壓印字符圖像的無監督分割方法的主要部分，構造改進型循環式生成對抗網絡：分別構建生成器G_XY、G_YX與判別器D_X、D_Xr、D_Y和D_Yr；

步驟三：將訓練樣本送入構建好的網絡進行訓練；

步驟四：將測試樣本送入訓練好的生成器G_XY，輸出x_t使用最大類間方差法（Otsu）進行自動閾值分割，得到二值圖x_s。

2.根據權利要求1所述的一種表面壓印字符圖像的無監督分割方法，其特征在于：所述步驟一具體包括以下步驟：

a．將攝像機采集到的表面壓印字符圖像統一縮放至512×512×3大小，共計200張圖像，作為原域數據；其中160張圖像作為訓練數據，40張圖像作為測試數據，測試圖像具有手工標注的標簽；

b．使用PhotoShop軟件構造160張隨機字符二值圖像，尺寸為512×512×1，字符在圖像中隨機出現，字符的字體、位置、字號與數量不固定；隨機字符圖像是二值圖，字符像素值為255，背景像素值為0。

3.根據權利要求1所述的一種表面壓印字符圖像的無監督分割方法，其特征在于：所述步驟二具體包括以下步驟：

a．生成器G_XY的構建；

① G_XY的任務是實現原域彩色圖像到目標域灰度圖像的生成，去除彩色圖像包含的紋理等細節信息，保留前景輪廓信息，生成的目標域灰度圖像前景灰度值應逼近255，背景灰度值應逼近0；

② G_XY由編碼、特征轉換和解碼三部分構成；編碼階段包含卷積層和一次下采樣過程，下采樣由步長為2的卷積完成；在特征轉換階段的第一步，網絡將特征圖通過空間注意力模塊進行關鍵特征提取；空間注意力模塊對輸入特征圖沿通道方向分別進行最大池化與平均池化，得到兩張單通道特征圖；將兩者沿通道方向拼接后再通過一個卷積層即得空間注意熱力圖，模塊輸入特征圖與空間注意熱力圖相乘得到空間注意特征圖；

③ 空間注意力模塊輸出特征圖再使用擴張卷積提取不同尺度的特征，按照提取特征尺度的不同分為三條支路；三條支路分別通過U型網絡完成特征轉化；

④ U型網絡會對特征圖進行一次下采樣，此時特征圖到達網絡最深層級，該層特征圖包含最高級的語義信息；此時，網絡引入通道注意力模塊，使用通道注意力模塊增大關鍵通道權重，忽略非關鍵通道，可以促進網絡性能的提升；通道注意力模塊輸入特征圖分別進行全局最大池化與全局平均池化，得到兩個1×C的向量，其中C為特征圖通道數；將兩向量分別通過一層全連接層使長度縮短至1×C/2，再通過一層全連接層將長度恢復至1×C；將兩向量相加即為通道熱力向量，通道熱力向量給出了各個通道的權重，將模塊輸入特征圖與通道熱力向量相乘即可得到通道注意特征圖；

⑤ 將通道注意特征圖進行一次上采樣，恢復至U型網絡下采樣前尺寸；U型網絡輸入與上采樣輸出相加，得到殘差輸出，可以融合網絡不同層級的信息；通過U型網絡后的三條支路相加，融合特征圖各個尺度的信息；再通過上采樣層和卷積層將特征圖恢復至原圖尺寸；

b．生成器G_YX的構建；

G_YX的任務是實現目標域灰度圖像到原域彩色圖像的生成，生成器G_YX同樣由編碼、特征轉化和解碼三部分構成；編碼階段由卷積層和一層下采樣層組成；特征轉化部分由6個殘差塊構成，將殘差塊輸入特征圖與輸入特征圖卷積兩次后的輸出相加即為殘差塊輸出，殘差結構可以緩解反向傳播中網絡過深引起的梯度消失等問題；解碼階段由一層上采樣層與數層卷積層構成；

c．判別器的構建；

本發明提出一種U型判別器；該判別器對輸入圖像多次下采樣后再進行多次上次樣，輸出一張優化權重圖，其尺寸與原圖尺寸保持一致，該圖反映了判別器輸入圖像各像素點的真實程度，其值位于[0,1]；因此，判別器輸出的優化權重圖可以作用于循環一致性損失函數，對生成圖像中真實程度低的像素點加大懲罰，從而給生成器提供更為精確的反饋；改進后的循環一致性損失函數為：

。