[發(fā)明專利]一種令紙缺陷分割分類的檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010551515.6
• 申請(qǐng)日: 2020-06-17
• 公開（公告）號(hào): CN111709933B
• 公開（公告）日: 2022-04-29
• 發(fā)明（設(shè)計(jì)）人: 余孟春;謝清祿;毛新宇;王顯飛;崔峰科;張志丹
• 申請(qǐng)（專利權(quán)）人: 廣州麥侖信息科技有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06K9/62;G06T7/11;G06T5/30;G06V10/25;G06V10/764;G06V10/82
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種令紙缺陷分割分類的檢測(cè)方法，其特征在于，包括以下的實(shí)施步驟：

S1、訓(xùn)練分割、分類網(wǎng)絡(luò)模塊：

1)分割網(wǎng)絡(luò)模塊訓(xùn)練：對(duì)令紙缺陷區(qū)域進(jìn)行像素級(jí)標(biāo)注，獲得一定數(shù)量的標(biāo)注數(shù)據(jù)集，對(duì)每個(gè)像素進(jìn)行二分類，采用交叉熵作為基本Loss函數(shù)，再適當(dāng)調(diào)整函數(shù)側(cè)重點(diǎn)，采用Loss函數(shù)作為目標(biāo)進(jìn)行訓(xùn)練，訓(xùn)練分割網(wǎng)絡(luò)學(xué)習(xí)得到令紙缺陷的表示特征，從而使網(wǎng)絡(luò)能從輸入的令紙圖像中分割出令紙缺陷區(qū)域；

2)分類網(wǎng)絡(luò)模塊訓(xùn)練：分類網(wǎng)絡(luò)包含4個(gè)子模塊，分別對(duì)接分割網(wǎng)絡(luò)中4級(jí)不同的網(wǎng)絡(luò)層，分類網(wǎng)絡(luò)模塊的輸入為H*W*C的特征張量，特征張量來自于對(duì)應(yīng)網(wǎng)絡(luò)層的ROI特征，輸出為令紙缺陷類別，結(jié)合令紙缺陷類別標(biāo)簽并采用多分類交叉熵和隨機(jī)梯度下降的方法來完成分類網(wǎng)絡(luò)子模塊的訓(xùn)練；

S2、將令紙圖像輸入到分割網(wǎng)絡(luò)模塊，采用Encoder-Decoder神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過Encoder獲取抽象的令紙缺陷特征，再在Decoder過程中對(duì)缺陷特征逐步進(jìn)行上采樣，并同時(shí)融合Encoder過程中對(duì)應(yīng)網(wǎng)絡(luò)層的特征信息，從而獲得全局和局部相結(jié)合的特征，以便更有效地對(duì)令紙缺陷區(qū)域進(jìn)行分割，獲得像素級(jí)的令紙缺陷分割圖；

S3、進(jìn)入ROI計(jì)算模塊：采用膨脹方法處理令紙缺陷二分類分割圖，合并距離較近的缺陷點(diǎn)，再使用findContours()方法從二分類分割圖中找出令紙缺陷的外包裹曲線，再采用boundingRect()方法獲取相應(yīng)的能框出完整的令紙缺陷區(qū)域的外接矩形，最終得到缺陷外接矩形和其對(duì)應(yīng)的合適的網(wǎng)絡(luò)層編號(hào)；

S4、進(jìn)入ROI信息提取模塊：根據(jù)缺陷外接矩形在選定的網(wǎng)絡(luò)層上提取對(duì)應(yīng)特征，將不同尺寸的特征區(qū)域映射到H*W*C大小的特征張量，H為特征平面的高，W為特征平面的寬，C為特征通道數(shù)；

S5、分類網(wǎng)絡(luò)模塊對(duì)令紙缺陷進(jìn)行分類判定，設(shè)定分類類別數(shù)為K+1，包含K種缺陷類別和1種正常令紙類別，本模塊中4個(gè)子模塊分別對(duì)應(yīng)不同的網(wǎng)絡(luò)層，輸入為H*W*C的特征張量，經(jīng)過兩層卷積處理后轉(zhuǎn)換成1*1*(K+1)的特征張量，再通過Softmax輸出令紙缺陷類別，獲得令紙缺陷的檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種令紙缺陷分割分類的檢測(cè)方法，其特征在于，步驟S1分割網(wǎng)絡(luò)模塊訓(xùn)練中所述的基本Loss函數(shù)，公式為：

其中，N為一張圖中的像素總數(shù)，i為像素點(diǎn)的序號(hào)，y_i為該點(diǎn)的標(biāo)簽，0表示為正常像素，1表示為缺陷像素，p_i表示將該點(diǎn)預(yù)測(cè)為缺陷像素的概率，α為類別平衡系數(shù)，用于修正缺陷像素和正常像素之間的不均衡問題，γ為抑制系數(shù)，w_i為該像素點(diǎn)的權(quán)重系數(shù)，用于調(diào)整小缺陷區(qū)域的訓(xùn)練權(quán)重從而提高對(duì)小缺陷的分割效果；

另，w權(quán)重系數(shù)的計(jì)算方式為逐個(gè)圖像計(jì)算，通過findContours()方法求出標(biāo)注圖上單一缺陷的包裹曲線，再用contourArea()方法求出包裹區(qū)域面積A，將該包裹區(qū)域內(nèi)的所有像素的權(quán)重統(tǒng)一按以下公式來設(shè)定：

w＝(At÷A)÷β

其中，At為輸入令紙圖像的總面積，A為令紙缺陷包裹區(qū)域面積，β為比例調(diào)節(jié)系數(shù)。

3.根據(jù)權(quán)利要求1所述的一種令紙缺陷分割分類的檢測(cè)方法，其特征在于，步驟S4中所述的ROI信息提取模塊，包括4個(gè)子模塊，分別對(duì)應(yīng)不同的網(wǎng)絡(luò)層，每個(gè)子模塊的映射方法均采用Mask RCNN檢測(cè)算法中的ROI Align，先將待提取的矩形映射到網(wǎng)絡(luò)層上的一個(gè)區(qū)域，保留小數(shù)，再將該區(qū)域均勻劃分成H*W大小的網(wǎng)格，每一個(gè)網(wǎng)格再細(xì)分為2*2的均勻區(qū)間，對(duì)于每個(gè)區(qū)間采用雙線性插值的方法來計(jì)算區(qū)間中心點(diǎn)的值，2*2個(gè)區(qū)間將計(jì)算出4個(gè)特征值，取4個(gè)中的最大值為該網(wǎng)格的特征值，從而獲得ROI特征信息。