[發(fā)明專利]一種圖像分割方法及裝置

有效

• 申請?zhí)枺?/td>: 201910844438.0
• 申請日: 2019-09-06
• 公開（公告）號: CN110717913B
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 王立;郭振華;趙雅倩
• 申請（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張博

1.一種圖像分割方法，其特征在于，該方法包括：

獲取待分割圖像；

利用預(yù)設(shè)的3D卷積神經(jīng)網(wǎng)絡(luò)模型確定所述待分割圖像中進(jìn)行參數(shù)調(diào)整后的每個目標(biāo)物的分割圖像，所述3D卷積神經(jīng)網(wǎng)絡(luò)模型基于圖像樣本數(shù)據(jù)預(yù)先訓(xùn)練得到，所述3D卷積神經(jīng)網(wǎng)絡(luò)模型包括：提取模塊、像素級顯著性增強(qiáng)模塊、通道級顯著性增強(qiáng)模塊和3D殘差反卷積模塊；具體的利用所述預(yù)設(shè)的3D卷積神經(jīng)網(wǎng)絡(luò)模型確定所述待分割圖像中進(jìn)行參數(shù)調(diào)整后的每個目標(biāo)物的分割圖像的過程包括：

利用所述提取模塊，提取所述待分割圖像的至少一個目標(biāo)物的第一特征圖矩陣；

利用所述像素級顯著性增強(qiáng)模塊，對每個所述目標(biāo)物的第一特征圖矩陣中的參數(shù)進(jìn)行調(diào)整，確定每個所述目標(biāo)物的像素級的加權(quán)矩陣，其中，所述每個所述目標(biāo)物的第一特征圖矩陣中的參數(shù)為所述目標(biāo)物的像素；

根據(jù)所述通道級顯著性增強(qiáng)模塊，增強(qiáng)每個所述目標(biāo)物的第一特征圖矩陣中的矩陣通道，確定每個所述目標(biāo)物的通道級的加權(quán)矩陣；

利用所述3D殘差反卷積模塊，針對于每個目標(biāo)物，計(jì)算該目標(biāo)物的像素級的加權(quán)矩陣和通道級的加權(quán)矩陣的和，得到所述目標(biāo)物的目標(biāo)矩陣，增大每個所述目標(biāo)物的目標(biāo)矩陣的尺寸，并對每個目標(biāo)物的進(jìn)行尺寸增大后的目標(biāo)矩陣還原處理，確定所述待分割圖像中進(jìn)行參數(shù)調(diào)整后的每個所述目標(biāo)物的分割圖像；

其中，所述利用所述像素級顯著性增強(qiáng)模塊，對每個所述目標(biāo)物的第一特征圖矩陣中的參數(shù)進(jìn)行調(diào)整，確定每個所述目標(biāo)物的像素級的加權(quán)矩陣，包括：

A1、利用所述像素級顯著性增強(qiáng)模塊的3×3×3×kernel_size卷積層對(h/2)×(w/2)×(z/2)×kernel_size進(jìn)行卷積，得到h×w×z×kernel_size的特征圖矩陣，其中，所述h為高度、所述w為寬度、所述z為厚度，所述kernel_size為核大小；所述(h/2)×(w/2)×(z/2)×kernel_size是利用提取模塊對高度為所述h，寬度為所述w，厚度為所述z的待分割圖像在通過卷積模塊和3D殘差卷積模塊處理得到；

A2、對所述h×w×z×kesize的特征圖矩陣進(jìn)行維度變換得到batchsize×t×kernel_size特征圖矩陣，具體為將所述h×w×z×kernel_size的特征圖矩陣按照batchsize和所述kernel_size對所述目標(biāo)物的h×w×z進(jìn)行遍歷，將所述h×w×z展開成一個一維的高維列向量，進(jìn)而得到所述batchsize×t×kernel_size特征圖矩陣，其中t=h×w×z；

其中，獲取的所述待分割圖像的數(shù)量為1時，所述batchsize為1，則所述batchsize×t×kernel_size等于t×kernel_size；

A3、對所述t×kernel_size特征圖矩陣的維度進(jìn)行調(diào)整，得到kernel_size×t特征圖矩陣；

A4、將所述kernel_size×t特征圖矩陣與所述t×kernel_size特征圖矩陣做乘法運(yùn)算，得到t×t特征圖矩陣；

其中，所述kernel_size×t特征圖矩陣與所述t×kernel_size特征圖矩陣進(jìn)行乘法運(yùn)算的過程包括：若所述batchsize為大于1的正整數(shù)，則將batchsize×kernel_size×t特征圖矩陣與所述batchsize×t×kernel_size特征圖矩陣中的矩陣一一對應(yīng)相乘；

A5、利用激活函數(shù)對所述t×t特征圖矩陣進(jìn)行非線性映射，得到非線性的t×t特征圖矩陣；

A6、對至少一個目標(biāo)物的第一特征圖矩陣為所述(h/2)×(w/2)×(z/2)×kernel_size特征圖矩陣進(jìn)行維度變換，具體為按照所述batchsize和所述kernel_size對所述目標(biāo)物的(h/2)×(w/2)×(z/2)進(jìn)行遍歷，將所述(h/2)×(w/2)×(z/2)展開成一個一維的高維列向量，得到batchsize×t1×kernel_size特征圖矩陣，其中t1=(h/2)×(w/2)×(z/2)，所述batchsize等于1；

A7、將t1×kernel_size中的所述t1與所述kernel_size進(jìn)行維度調(diào)整，得到kernel_size×t1特征圖矩陣；

A8、將所述kernel_size×t1特征圖矩陣與所述非線性的t×t特征圖矩陣相乘，得到kernel_size×t特征圖矩陣；

其中，所述kernel_size×t1特征圖矩陣與所述非線性的t×t特征圖矩陣進(jìn)行乘法運(yùn)算的過程包括：若所述batchsize為大于1的正整數(shù)，則將batchsize×kernel_size×t1特征圖矩陣與batchsize×t×t特征圖矩陣中的矩陣一一對應(yīng)相乘；

A9、將所述kernel_size×t特征圖矩陣進(jìn)行還原得到kernel_size×h×w×z特征圖矩陣；

A10、對所述kernel_size×h×w×z特征圖矩陣進(jìn)行維度調(diào)整，得到h×w×z×kernel_size特征圖矩陣；

A11、利用加權(quán)權(quán)重為alpha*(所述h×w×z×kernel_size特征圖矩陣)+input對所述kernel_size×h×w×z特征圖矩陣與至少一個目標(biāo)物的第一特征圖矩陣為所述(h/2)×(w/2)×(z/2)×kernel_size的特征圖矩陣進(jìn)行加權(quán)相加，即對每個目標(biāo)物的第一特征圖矩陣中的像素進(jìn)行調(diào)整，得到至少一個目標(biāo)物的像素級的加權(quán)矩陣h1×w1×z1×kernel_size，其中，所述kernel_size為核大小；

其中，所述根據(jù)通道級顯著性增強(qiáng)模塊，增強(qiáng)每個目標(biāo)物的第一特征圖矩陣中的矩陣通道，確定每個目標(biāo)物的通道級的加權(quán)矩陣，包括：

B1、利用所述通道級顯著性增強(qiáng)模塊的3×3×3×channel_size卷積層對(h/2)×(w/2)×(z/2)×channel_size第一特征圖矩陣進(jìn)行卷積，得到h×w×z×channel_size的特征圖矩陣，其中，所述h為高度、所述w為寬度、所述z為厚度，所述channel_size為通道數(shù)；所述(h/2)×(w/2)×(z/2)×channel_size是利用所述提取模塊對高度為所述h，寬度為所述w，厚度為所述z的所述待分割圖像在通過所述卷積模塊和所述3D殘差卷積模塊處理得到；

B2、對所述h×w×z×channel_size的特征圖矩陣進(jìn)行維度變換得到batchsize×t×channel_size特征圖矩陣，具體為將所述batchsize×h×w×z×channel_size的特征圖矩陣按照batchsize和所述channel_size對所述目標(biāo)物的h×w×z進(jìn)行遍歷，將所述h×w×z展開成一個一維的高維列向量，進(jìn)而得到所述batchsize×t×channel_size特征圖矩陣，其中t=h×w×z；

其中，獲取的所述待分割圖像的數(shù)量為1，所述batchsize為1，所述batchsize×t×channel_size等于t×channel_size；

B3、對所述(h/2)×(w/2)×(z/2)×channel_size第一特征圖矩陣進(jìn)行維度調(diào)整得到batchsize×t1×channel_size特征圖矩陣，具體為將batchsize×(h/2)×(w/2)×(z/2)×channel_size第一特征圖矩陣按照所述batchsize和所述channel_size對所述目標(biāo)物的(h/2)×(w/2)×(z/2)進(jìn)行遍歷，將所述(h/2)×(w/2)×(z/2)展開成一個一維的高維列向量，得到所述batchsize×t1×channel_size特征圖矩陣，其中t1=（h/2）×（w/2）×（z/2）；

其中，獲取的所述待分割圖像的數(shù)量為1時，所述batchsize為1，所述batchsize×t1×channel_size等于t1×channel_size；

B4、將所述t1×channel_size特征圖矩陣進(jìn)行維度調(diào)整，得到channel_size×t1特征圖矩陣；

B5、將所述t1×channel_size特征圖矩陣與所述channel_size×t1特征圖矩陣做乘法運(yùn)算，得到channel_size×channel_size特征圖矩陣；

其中，所述t1×channel_size特征圖矩陣與所述channel_size×t1特征圖矩陣進(jìn)行乘法運(yùn)算的過程包括，若所述batchsize為大于1的正整數(shù)，則將batchsize×channel_size×t1特征圖矩陣與batchsize×t1×channel_size特征圖矩陣中的矩陣一一對應(yīng)相乘；

B6、將所述channel_size×channel_size特征圖矩陣按照所述batchsize和所述channel_size對所述目標(biāo)物的h×w×z進(jìn)行遍歷，將所述h×w×z展開成一個一維的高維列向量，并對該高維列向量進(jìn)行pooling操作，即將每一channel_size維度的向量變成1個浮點(diǎn)數(shù)，得到channel_size×1特征圖矩陣；

B7、利用激活函數(shù)對channel_size×1特征圖矩陣進(jìn)行非線性映射，得到非線性的channel_size×1特征圖矩陣；

B8、將非線性的channel_size×1特征圖矩陣與channel_size×channel_size特征圖矩陣做乘法運(yùn)算，得到channel_size×channel_size特征圖矩陣；

其中，對所述非線性的channel_size×1特征圖矩陣與所述channel_size×channel_size特征圖矩陣進(jìn)行乘法運(yùn)算的過程包括：所述channel_size×1特征圖矩陣中的元素與所述channel_size×channel_size特征圖矩陣中對應(yīng)的元素一一對應(yīng)相乘；

B9、將所述channel_size×channel_size特征圖矩陣與t×channel_size特征圖矩陣做乘法運(yùn)算，得到channel_size×t特征圖矩陣，且所述channel_size×t特征圖矩陣為一個3維的特征圖矩陣；

其中，所述channel_size×channel_size特征圖矩陣與所述t×channel_size特征圖矩陣做乘法運(yùn)算的過程包括：若batchsize為大于1的正整數(shù)，則將batchsize×channel_size×channel_size特征圖矩陣與batchsize×t×channel_size特征圖矩陣中的矩陣一一對應(yīng)相乘；

B10、將所述channel_size×t特征圖矩陣按照所述batchsize和所述channel_size對所述目標(biāo)物的h×w×z進(jìn)行遍歷，將所述h×w×z展開成一個t維的高維列向量，并對該高維列向量進(jìn)行pooling操作，即將每一channel_size維度的向量變成1個浮點(diǎn)數(shù)，得到channel_size×1特征圖矩陣；

B11、利用激活函數(shù)對所述channel_size×1特征圖矩陣進(jìn)行非線性映射，得到非線性的channel_size×1特征圖矩陣；

B12、將所述非線性的channel_size×1特征圖矩陣與所述channel_size×t特征圖矩陣做乘法運(yùn)算，得到所述channel_size×t特征圖矩陣；

其中，對所述非線性的channel_size×1特征圖矩陣與所述channel_size×t特征圖矩陣進(jìn)行乘法運(yùn)算的過程包括：所述channel_size×1特征圖矩陣中的元素與所述channel_size×t特征圖矩陣中對應(yīng)的元素一一對應(yīng)相乘；

B13、將channel_size×t特征圖矩陣進(jìn)行還原，得到channel_size×h×w×z特征圖矩陣；

B14、將所述channel_size×h×w×z特征圖矩陣進(jìn)行維度調(diào)整，得到h×w×z×channel_size特征圖矩陣；

B15、利用加權(quán)權(quán)重為：beta*(所述h×w×z×channel_size特征圖矩陣)+ input，對所述h×w×z×channel_size特征圖矩陣與至少一個目標(biāo)物的第一特征圖矩陣為(h/2)×(w/2)×(z/2)×channel_size的特征圖矩陣進(jìn)行加權(quán)相加，即對增強(qiáng)每個目標(biāo)物的第一特征圖矩陣中的矩陣通道，得到至少一個目標(biāo)物的通道級的加權(quán)矩陣h1×w1×z1×channel_size，其中所述channel_size為通道數(shù)。