[發(fā)明專利]一種基于局部區(qū)域條件隨機(jī)場(chǎng)模型的圖像語(yǔ)義分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811003417.8
• 申請(qǐng)日: 2018-08-30
• 公開（公告）號(hào): CN109285162A
• 公開（公告）日: 2019-01-29
• 發(fā)明（設(shè)計(jì)）人: 李訓(xùn)根;張譽(yù)礬;潘勉;于彥貞
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06N3/04
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 黃前澤

本發(fā)明涉及一種基于局部區(qū)域條件隨機(jī)場(chǎng)模型的圖像語(yǔ)義分割方法。本發(fā)明全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提取輸入圖片特征并獲得一個(gè)粗糙的分割結(jié)果，區(qū)域選擇結(jié)構(gòu)將分割結(jié)果圖進(jìn)行邊緣濾波，并選擇分割結(jié)果為行人，自行車，機(jī)動(dòng)車的部分的最大外接矩形，局部區(qū)域條件隨機(jī)場(chǎng)模型在上述矩形區(qū)域建立條件隨機(jī)場(chǎng)模型并精細(xì)優(yōu)化上述矩形區(qū)域的分割結(jié)果。本發(fā)明有效的結(jié)合了條件隨機(jī)場(chǎng)模型精度上的優(yōu)勢(shì)和全卷積神經(jīng)網(wǎng)絡(luò)速度上的優(yōu)勢(shì)。優(yōu)化了條件隨機(jī)場(chǎng)模型計(jì)算方式從而大幅降低了模型時(shí)間復(fù)雜度；提升了傳統(tǒng)全卷積神經(jīng)網(wǎng)絡(luò)的分割精度；將概率圖模型的應(yīng)用和全卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用設(shè)計(jì)為了一個(gè)端到端系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，涉及一種基于局部區(qū)域條件隨機(jī)場(chǎng)模型的圖像語(yǔ)義分割方法。

背景技術(shù)

近二十年來(lái)，深度卷積神經(jīng)網(wǎng)絡(luò)逐漸成為計(jì)算機(jī)視覺中關(guān)于圖像理解的強(qiáng)大工具。近期，卷積神經(jīng)網(wǎng)絡(luò)在圖像的語(yǔ)義分割任務(wù)上展現(xiàn)出了很好的效果。圖像的語(yǔ)義分割作為圖像理解的基石性技術(shù)，在多個(gè)方面有著舉足輕重的地位，例如自動(dòng)駕駛，無(wú)人機(jī)應(yīng)用，可穿戴式設(shè)備等。如何設(shè)計(jì)出可以兼顧語(yǔ)義分割網(wǎng)絡(luò)精度和語(yǔ)義分割速度的分割算法成為了當(dāng)前研究的主流。

目前圖像的語(yǔ)義分割應(yīng)用按照側(cè)重點(diǎn)逐漸發(fā)展為兩個(gè)主要方向，第一個(gè)方向側(cè)重于分割速度，它使用全卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖片進(jìn)行分割，全卷積神經(jīng)網(wǎng)絡(luò)最大的特點(diǎn)是將原始神經(jīng)網(wǎng)絡(luò)中的全連接層用卷積層替換，這樣很好的保留了原始卷積結(jié)構(gòu)中因?yàn)槿B接而破壞的圖片空間位置信息，之后，通過(guò)上采樣過(guò)程將全卷積網(wǎng)絡(luò)的輸出恢復(fù)到原始圖片大小，最后通過(guò)對(duì)所得特征圖中每個(gè)位置進(jìn)行分類的方式來(lái)獲得像素級(jí)別的分類效果。這種方法關(guān)注的是分割速度，它只使用涉及到普通卷積結(jié)構(gòu)而無(wú)需建立復(fù)雜的數(shù)學(xué)模型。通常情況下，全卷積網(wǎng)絡(luò)產(chǎn)生的分割結(jié)果在目標(biāo)邊界區(qū)域處的效果較差，這是因?yàn)榫矸e過(guò)程是空間不變的，它獲取的是圖片區(qū)域與區(qū)域之間的關(guān)系，很難獲取圖片像素級(jí)別的依賴關(guān)系，然而，對(duì)于圖片目標(biāo)邊界處的分割，我們需要獲得的更多是相鄰像素之間的關(guān)系。這種分割的不精確在自動(dòng)駕駛中往往會(huì)導(dǎo)致計(jì)算機(jī)不能準(zhǔn)確的對(duì)車附近環(huán)境做出準(zhǔn)確的判斷(例如對(duì)于一些位置靠近的行人車輛，全卷積神經(jīng)網(wǎng)絡(luò)通常在這些單位中間的區(qū)域具有很差的效果)，這種對(duì)于路面關(guān)鍵性目標(biāo)的判斷不準(zhǔn)確導(dǎo)致了全卷積網(wǎng)絡(luò)在自動(dòng)駕駛?cè)蝿?wù)中很難開展應(yīng)用。第二個(gè)方向是將全卷積神經(jīng)網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)模型一同使用，這是一種更側(cè)重于分割效果的方法，該方法利用條件隨機(jī)場(chǎng)模型來(lái)精細(xì)優(yōu)化全卷積神經(jīng)網(wǎng)絡(luò)的分割結(jié)果，如圖1所示，它以原始圖片每個(gè)像素點(diǎn)為節(jié)點(diǎn)建立條件隨機(jī)場(chǎng)模型，并利用全卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果作為一元?jiǎng)莺瘮?shù)的取值，然后通過(guò)建立混合高斯模型的方式來(lái)建立二元?jiǎng)莺瘮?shù)表達(dá)式，最后通過(guò)平均場(chǎng)推斷過(guò)程來(lái)獲得最終分割結(jié)果，條件隨機(jī)場(chǎng)模型更傾向于將圖片中位置靠近、顏色相似的像素點(diǎn)分割為同一個(gè)類別。該方法能夠很好的獲取到圖片像素級(jí)別的依賴關(guān)系，在圖片中物體與物體之間邊界處有很好的表現(xiàn)。但是，條件隨機(jī)場(chǎng)模型中平均場(chǎng)推斷過(guò)程類似于迭代應(yīng)用雙邊濾波器，由于基礎(chǔ)雙邊濾波步驟具有較高的計(jì)算復(fù)雜度，最終限制了該方法在實(shí)時(shí)系統(tǒng)中的應(yīng)用。

如圖2所示，左側(cè)為輸入圖片，中間為通過(guò)全連接條件隨機(jī)場(chǎng)模型后的結(jié)果，右側(cè)為只通過(guò)卷積神經(jīng)網(wǎng)絡(luò)獲得結(jié)果，對(duì)比后可以發(fā)現(xiàn)全連接條件隨機(jī)場(chǎng)模型在諸如天空、道路、建筑等區(qū)域的分割結(jié)果相較于只通過(guò)卷積神經(jīng)所得結(jié)果并沒有太多提升，這些區(qū)域都存在一個(gè)明顯的特點(diǎn)——區(qū)域與區(qū)域之間具有高度的區(qū)分性，對(duì)于這些連續(xù)性很強(qiáng)的區(qū)域，通過(guò)一般的卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)能夠獲得一個(gè)很好的分割效果。而對(duì)于那些不連續(xù)的區(qū)域，三輛車不連續(xù)的分散在圖片中，并且車輛所在區(qū)域與其他區(qū)域沒有很好的區(qū)分性，分割結(jié)果通過(guò)條件隨機(jī)場(chǎng)模型后卻能獲得極大的提升。

因此，本發(fā)明針對(duì)現(xiàn)階段兩種語(yǔ)義分割算法中存在的缺陷，提出了一種新型的條件隨機(jī)場(chǎng)模型建立方式，用來(lái)實(shí)現(xiàn)基于條件隨機(jī)場(chǎng)模型的語(yǔ)義分割網(wǎng)絡(luò)在交通場(chǎng)景中高效實(shí)時(shí)的應(yīng)用。

發(fā)明內(nèi)容

本發(fā)明的目的就是提供一種在交通模式中能夠?qū)崟r(shí)應(yīng)用的基于局部區(qū)域條件隨機(jī)場(chǎng)模型時(shí)圖像語(yǔ)義分割方法，該方法相比于傳統(tǒng)全卷積神經(jīng)網(wǎng)絡(luò)提升分割精度，相較于傳統(tǒng)條件隨機(jī)場(chǎng)模型優(yōu)化了分割速度，最終使得結(jié)合條件隨機(jī)場(chǎng)模型分割方法能夠?qū)崟r(shí)的應(yīng)用在交通場(chǎng)景圖像中。