[發(fā)明專利]基于聚合邊緣特征的圖像語(yǔ)義分割方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210387576.2
• 申請(qǐng)日: 2022-04-14
• 公開（公告）號(hào): CN114463187B
• 公開（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 田輝;劉其開;徐飛;郭玉剛;張志翔
• 申請(qǐng)（專利權(quán)）人: 合肥高維數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/11;G06K9/62;G06V10/26;G06V10/80;G06V10/774
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于聚合邊緣特征的圖像分割方法，其特征在于：包括：

特征提取模塊，用于提取圖像的淺層特征得到不同尺度的淺層特征圖；

特征融合模塊，用于對(duì)特征圖進(jìn)行特征融合得到特征圖；

上采樣模塊，用于對(duì)特征圖進(jìn)行卷積降維操作得到單通道特征圖，并對(duì)單通道特征圖進(jìn)行上采樣雙線性插值處理得到與輸入圖尺寸相同的特征圖，其中；

顯著目標(biāo)邊緣圖生成模塊，用于對(duì)特征圖進(jìn)行相加，并對(duì)相加后的特征圖進(jìn)行可視化處理得到預(yù)測(cè)的顯著目標(biāo)邊緣圖；

所述的特征融合模塊按如下步驟對(duì)特征圖進(jìn)行特征融合得到特征圖包括：

對(duì)特征圖進(jìn)行卷積處理得到特征圖，特征圖與特征圖相比通道數(shù)減少但尺寸不變；

對(duì)特征圖進(jìn)行上采樣雙線性插值處理得到特征圖，特征圖與特征圖相比通道數(shù)不變且尺寸與特征圖相同；

取特征圖的部分通道與特征圖進(jìn)行疊加得到特征圖，特征圖和特征圖通道數(shù)不變且尺寸相同；

對(duì)特征圖進(jìn)行卷積處理得到特征圖，特征圖與特征圖相比通道數(shù)減少但尺寸不變；

以此類推，得到特征圖。

2.如權(quán)利要求1所述的基于聚合邊緣特征的圖像分割方法，其特征在于：所述的單通道特征圖和特征圖的尺寸相同，特征圖通道數(shù)為1；對(duì)特征圖進(jìn)行相加即將N個(gè)特征圖中相同位置的特征值相加，可視化處理包括：

對(duì)相加后的特征圖進(jìn)行歸一化操作得到概率分布矩陣；

按照設(shè)定閾值對(duì)概率分布矩陣進(jìn)行二值化處理即得到預(yù)測(cè)的顯著目標(biāo)邊緣圖。

3.一種基于聚合邊緣特征的圖像分割方法，其特征在于：包括如下步驟：

獲取第一訓(xùn)練集；

按照權(quán)利要求1中的方法構(gòu)建第一網(wǎng)絡(luò)；

利用所述的第一訓(xùn)練集對(duì)所述的第一網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練完成后得到訓(xùn)練好的第一網(wǎng)絡(luò)；

將待檢測(cè)圖像輸入訓(xùn)練好的第一網(wǎng)絡(luò)得到預(yù)測(cè)的顯著目標(biāo)邊緣圖，該圖中顯著目標(biāo)邊框輪廓與背景區(qū)域相異。

4.一種基于聚合邊緣特征的圖像語(yǔ)義分割方法，其特征在于：包括如下步驟：

獲取第一訓(xùn)練集和第二訓(xùn)練集；

按照權(quán)利要求1中的方法構(gòu)建第一網(wǎng)絡(luò)，構(gòu)建基于語(yǔ)義分割的第二網(wǎng)絡(luò)；

利用所述的第一訓(xùn)練集對(duì)所述的第一網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練完成后得到訓(xùn)練好的第一網(wǎng)絡(luò)；

利用所述的第二訓(xùn)練集對(duì)所述的第二網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練完成后得到訓(xùn)練好的第二網(wǎng)絡(luò)；

將待檢測(cè)圖像分別輸入訓(xùn)練好的第一網(wǎng)絡(luò)、第二網(wǎng)絡(luò)，得到預(yù)測(cè)的顯著目標(biāo)邊緣圖、預(yù)測(cè)熱圖，預(yù)測(cè)的顯著目標(biāo)邊緣圖中顯著目標(biāo)邊框輪廓與背景區(qū)域相異，預(yù)測(cè)熱圖中目標(biāo)區(qū)域與背景區(qū)域相異；

計(jì)算預(yù)測(cè)的顯著目標(biāo)邊緣圖中顯著目標(biāo)邊框輪廓內(nèi)的區(qū)域和預(yù)測(cè)熱圖中目標(biāo)區(qū)域的交集，并將此交集作為待檢測(cè)圖像的目標(biāo)區(qū)域輸出。

5.如權(quán)利要求4所述的基于聚合邊緣特征的圖像語(yǔ)義分割方法，其特征在于：所述第二網(wǎng)絡(luò)為U-Net網(wǎng)絡(luò)，其包括編碼器和解碼器；編碼器包括M個(gè)卷積池化層，其前N層構(gòu)成第一網(wǎng)絡(luò)的特征提取模塊，且N＜M；第二網(wǎng)絡(luò)訓(xùn)練時(shí)編碼器前N層參數(shù)固定。

6.如權(quán)利要求5所述的基于聚合邊緣特征的圖像語(yǔ)義分割方法，其特征在于：所述的第一網(wǎng)絡(luò)訓(xùn)練時(shí)使用交叉熵?fù)p失進(jìn)行優(yōu)化，第二網(wǎng)絡(luò)訓(xùn)練時(shí)使用focal loss損失進(jìn)行優(yōu)化微調(diào)。

7.一種基于聚合邊緣特征的圖像語(yǔ)義分割系統(tǒng)，其特征在于：包括第一網(wǎng)絡(luò)模塊、第二網(wǎng)絡(luò)模塊以及圖像處理模塊；所述的第一網(wǎng)絡(luò)模塊中存儲(chǔ)有訓(xùn)練好的第一網(wǎng)絡(luò)用于對(duì)待檢測(cè)圖像進(jìn)行處理得到預(yù)測(cè)的顯著目標(biāo)邊緣圖，該圖中顯著目標(biāo)邊框輪廓與背景區(qū)域相異，第一網(wǎng)絡(luò)按照權(quán)利要求1中的方法構(gòu)建；所述的第二網(wǎng)絡(luò)模塊中存儲(chǔ)有訓(xùn)練好的第二網(wǎng)絡(luò)用于對(duì)待檢測(cè)圖像進(jìn)行處理得到預(yù)測(cè)熱圖，該圖中目標(biāo)區(qū)域與背景區(qū)域相異；圖像處理模塊用于計(jì)算預(yù)測(cè)的顯著目標(biāo)邊緣圖中顯著目標(biāo)邊框輪廓內(nèi)的區(qū)域和預(yù)測(cè)熱圖中目標(biāo)區(qū)域的交集并將此交集作為待檢測(cè)圖像的目標(biāo)區(qū)域輸出。