[發(fā)明專利]一種基于多分辨率輸入與金字塔膨脹卷積的語義分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811353131.2
• 申請(qǐng)日: 2018-11-14
• 公開（公告）號(hào): CN109598269A
• 公開（公告）日: 2019-04-09
• 發(fā)明（設(shè)計(jì)）人: 龐彥偉;路文超
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程毓英

本發(fā)明涉及一種基于多分辨率輸入與金字塔膨脹卷積的語義分割方法，包括下列步驟：確定基礎(chǔ)雙支路網(wǎng)絡(luò)架構(gòu)，用于從不同分辨率的輸入圖像中提取不同尺度的特征：該基礎(chǔ)雙支路網(wǎng)絡(luò)架構(gòu)的兩個(gè)支路的輸入圖像分辨率不同，均由多個(gè)卷積模塊和降采樣模塊組成，卷積模塊包含多個(gè)卷積層，用于提取特征；降采樣模塊由池化層組成；輸入低分辨率圖像的支路的卷積層較多，用于提取特征并進(jìn)行分類，輸出粗糙的預(yù)測(cè)結(jié)果；輸入高分辨率圖像的支路的卷積層較少，用于優(yōu)化預(yù)測(cè)結(jié)果的空間位置信息，提升分割結(jié)果的像素精度。設(shè)計(jì)金字塔膨脹卷積模塊，用于提取不同尺度的特征；設(shè)計(jì)兩條支路特征融合模塊。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺、語義分割、深度學(xué)習(xí)領(lǐng)域，特別涉及一種基于多分辨率輸入與金字塔膨脹卷積的語義分割方法。

背景技術(shù)

語義分割是圖像理解中的重要技術(shù)手段，是計(jì)算機(jī)視覺中的一項(xiàng)重要研究內(nèi)容。圖像是由很多像素組成的，語義分割就是將圖像中的所有像素按照其表達(dá)的語義含義進(jìn)行不同的分類分組，也就是像素級(jí)分類。相比于目標(biāo)識(shí)別和物體檢測(cè)，語義分割可以實(shí)現(xiàn)對(duì)圖像更加細(xì)致的理解。鑒于語義分割的稠密預(yù)測(cè)性，語義分割在很多實(shí)際應(yīng)用領(lǐng)域中都有著巨大的作用，比如自動(dòng)駕駛系統(tǒng)中的路面場(chǎng)景理解，無人機(jī)系統(tǒng)中的著陸點(diǎn)判斷以及可穿戴設(shè)備中的圖像理解等。

自深度學(xué)習(xí)發(fā)展以來，基于深度學(xué)習(xí)的圖像算法層出不窮。Long等人提出了全卷積神經(jīng)網(wǎng)絡(luò)(FCN)，為將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到語義分割領(lǐng)域中打下了基礎(chǔ)。FCN提出后，廣大研究學(xué)者均在此基礎(chǔ)上不斷改進(jìn)，發(fā)展出一系列基于深度學(xué)習(xí)的語義分割算法。Badrinarayana等人提出了SegNet，采用對(duì)稱的編碼-解碼架構(gòu)，完善了語義分割中常用的編解碼架構(gòu)；Chen等人提出了DeepLab，利用空洞空間金字塔池化增大卷積核感受野，聚合不同區(qū)域的上下文信息，并在網(wǎng)絡(luò)末端加入全連接條件隨機(jī)場(chǎng)用于銳化分割結(jié)果。Lin等人提出了RefineNet，利用長距離殘差連接對(duì)不同尺度的特征進(jìn)行融合，充分利用底層特征的邊緣優(yōu)勢(shì)和高層特征的語義優(yōu)勢(shì)，實(shí)現(xiàn)用低層空間信息優(yōu)化高層語義信息，進(jìn)而提升網(wǎng)絡(luò)分割精度。這些語義分割算法在分割精度方面有了較大的進(jìn)步，但這些算法在分割效率方面依然比較低，而且這些算法對(duì)不同尺度目標(biāo)的分割精度比較差。

輸入分辨率是影響網(wǎng)絡(luò)分割效率的一個(gè)重要因素。將輸入圖像壓縮作為網(wǎng)絡(luò)輸入可以大大提高網(wǎng)絡(luò)的分割效率，但會(huì)損失大量的空間細(xì)節(jié)信息，使網(wǎng)絡(luò)的分割像素精度降低。用高分辨率圖像作為網(wǎng)絡(luò)輸入可以保留所有的空間細(xì)節(jié)信息，但會(huì)大大降低網(wǎng)絡(luò)的分割效率。同時(shí)，固定的卷積層和池化層會(huì)使各卷積層的感受野單一，關(guān)注的區(qū)域單一，這會(huì)限制網(wǎng)絡(luò)對(duì)不同尺度目標(biāo)的分割精度，使網(wǎng)絡(luò)不能精確地分割不同尺度的目標(biāo)。

發(fā)明內(nèi)容

針對(duì)上述輸入分辨率對(duì)網(wǎng)絡(luò)的效率限制問題和固定感受野對(duì)網(wǎng)絡(luò)處理不同尺度目標(biāo)的精度限制問題，本發(fā)明提供一種基于多分辨率輸入與金字塔膨脹卷積的語義分割方法。本發(fā)嗎設(shè)計(jì)一種基于多分辨率輸入的語義分割網(wǎng)絡(luò)結(jié)構(gòu)，充分利用低分辨率圖像處理效率高，高分辨率圖像空間細(xì)節(jié)信息保存好的優(yōu)點(diǎn)，在保持網(wǎng)絡(luò)分割精度的同時(shí)提升網(wǎng)絡(luò)分割效率并設(shè)計(jì)一種金字塔膨脹卷積模塊。該模塊融合多個(gè)不同膨脹率的卷積用于提取不同尺寸區(qū)域內(nèi)的特征，提升網(wǎng)絡(luò)對(duì)不同尺度目標(biāo)的分割精度。技術(shù)方案如下：

第一步：確定基礎(chǔ)雙支路網(wǎng)絡(luò)架構(gòu)，用于從不同分辨率的輸入圖像中提取不同尺度的特征：該基礎(chǔ)雙支路網(wǎng)絡(luò)架構(gòu)的兩個(gè)支路的輸入圖像分辨率不同，均由多個(gè)卷積模塊和降采樣模塊組成，卷積模塊包含多個(gè)卷積層，用于提取特征；降采樣模塊由池化層組成；輸入低分辨率圖像的支路的卷積層較多，用于提取特征并進(jìn)行分類，輸出粗糙的預(yù)測(cè)結(jié)果；輸入高分辨率圖像的支路的卷積層較少，用于優(yōu)化預(yù)測(cè)結(jié)果的空間位置信息，提升分割結(jié)果的像素精度。

第二步：設(shè)計(jì)金字塔膨脹卷積模塊，用于提取不同尺度的特征：利用4個(gè)不同膨脹率的卷積核的不同感受野提取不同尺寸區(qū)域的特征，然后通過級(jí)聯(lián)操作，融合這4個(gè)不同尺寸區(qū)域內(nèi)的特征，從而讓網(wǎng)絡(luò)能提取到多尺度的特征，提升網(wǎng)絡(luò)對(duì)不同尺度目標(biāo)的分割效果。