[發(fā)明專利]連通雙注意力多尺度融合語義分割網(wǎng)絡

在審

• 申請?zhí)枺?/td>: 202310657427.8
• 申請日: 2023-06-05
• 公開（公告）號: CN116630626A
• 公開（公告）日: 2023-08-22
• 發(fā)明（設計）人: 王麗輝
• 申請（專利權）人: 吉林農(nóng)業(yè)科技學院
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/80;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 長春市吉利專利事務所(普通合伙) 22206
• 代理人: 王顯文

針對缺陷檢測技術中廣泛存在的缺陷像素難以精確識別分類的技術問題，本發(fā)明公開了一種連通雙注意力多尺度融合語義分割網(wǎng)絡，屬于圖像分析與處理領域。本發(fā)明包括面向特征提取的卷積子模塊、融合雙注意力機制的多尺度融合子模塊、卷積多尺度聚合子模塊、以及保留細粒度紋理信息的剪支殘差子模塊。以上模塊分別通過提取輸入圖像多尺度信息、從色彩空間與語義空間對特征圖施加注意力、融合不同尺度之間的特征信息、保留原圖像不同尺度上關鍵紋理特征來實現(xiàn)對缺陷像素的高精度識別。實驗證明，本發(fā)明提高了缺陷檢測技術中語義分割精度，可以滿足工業(yè)應用對缺陷檢測的迫切需求。

技術領域

本發(fā)明涉及人工智能中語義分割領域，尤其涉及一種面向缺陷檢測技術中像素密集分類的方法。

背景技術

在缺陷檢測技術中，實現(xiàn)像素級別的密集分類，是實現(xiàn)對缺陷幾何形貌拓撲分析的基礎和前提。對缺陷像素的錯誤識別將直接造成缺陷尺度的計算偏差，從而造成產(chǎn)品質(zhì)量的下降，甚至在一些場合下，會造成嚴重的安全問題。可以說，實現(xiàn)高精度的對缺陷的識別檢測，是工業(yè)質(zhì)量保障的重中之重。

工業(yè)中缺陷識別與檢測不同于對自然圖像，缺陷區(qū)域往往微小，同時容易因為光照、灰塵干擾等因素而與正常區(qū)域?qū)Ρ榷鹊?，從而導致現(xiàn)有算法普遍難以精確檢出。因此，現(xiàn)有的技術方法中，普遍會造成缺陷區(qū)域的誤識別，影響后續(xù)過程對缺陷區(qū)域幾何形貌的分析與測算。

目前為止，因為上述技術問題，現(xiàn)有方法中(包含圖像處理方法與深度學習算法)，都不能夠?qū)崿F(xiàn)對缺陷區(qū)域精準的定位與分析。

發(fā)明內(nèi)容

針對上述技術問題，本發(fā)明基于卷積神經(jīng)網(wǎng)絡，提出了一種連通雙注意力多尺度融合語義分割網(wǎng)絡，可以提高缺陷檢測技術的精度。

在公開的技術方法中，包含有面向特征提取的卷積子模塊、融合雙注意力機制的多尺度融合子模塊、卷積多尺度聚合子模塊、保留細粒度紋理信息的剪支殘差子模塊。

連通雙注意力多尺度融合語義分割網(wǎng)絡以Unet為基線網(wǎng)絡，采用編碼器——解碼器結(jié)構(gòu)，并插入密集連接的融合雙注意力機制的多尺度融合子模塊，從色彩空間與語義空間多次向不同尺度特征圖施加注意力權重，同時融合以保留細粒度紋理信息的剪支殘差子模塊所提煉的原輸入圖像不同尺度下的特征圖關鍵信息，并采用殘差連接的方式，在輸出判別前融合以原輸入圖信息，增加對于邊界等信息的掌控。

面向特征提取的卷積子模塊，將輸入特征圖信息經(jīng)過級聯(lián)的2個卷積模塊，擴大感受野的同時增加網(wǎng)絡的非線性表述能力，同時經(jīng)過一個尺度為7×7的深度可分離卷積以及一個通道卷積，并在這一部分采用殘差連接的方式，保證梯度的穩(wěn)定傳播。

輸入圖像經(jīng)過特征提取模塊后，形成5個不同尺度下的特征圖，特征圖的通道數(shù)量為上一分辨率的2倍，尺度為上一分辨率的1/2。不同特征圖經(jīng)過上述過程后，通過融合雙注意力機制的多尺度融合子模塊進行注意力的引入。該模塊首先將不同尺度的特征圖信息通過卷積進行融合。然后，采用卷積等算子將特征圖信息映射到空間與通道上，形成通道數(shù)為1的空間注意力面陣與尺度為1的通道注意力向量，通過乘法引入雙重注意力，并采用殘差的方式連接。

經(jīng)過雙重注意力的引入后，不同尺度特征圖經(jīng)過卷積多尺度聚合子模塊。這一部分中，不同尺度的特征圖通過卷積與2×2大小的上采樣算子進行通道數(shù)量與尺度的調(diào)整，之后采用拼接的方式，將上述兩個尺度與通道都相同的特征圖融合。之后，采用2個卷積核大小為3×3的卷積、批均值歸一化算子、激活函數(shù)擴大感受野并增加非線性，抑制色彩空間的劇烈變化引入的噪聲。

在不同尺度上，分別采用保留細粒度紋理信息的剪支殘差子模塊進行關鍵紋理信息的提取。上述模塊采用殘差的結(jié)構(gòu)建立，提煉輸入圖像的關鍵紋理邊界信息。

原輸入圖像經(jīng)過層層卷積后，語義信息較強，但紋理信息較弱。因此采用拼接的方式，將原輸入圖像作為特征圖本身融合進判別的特征圖部分，從而保留了最原始的邊界紋理細節(jié)信息。