[發(fā)明專利]圖像分割模型訓(xùn)練方法、圖像分割方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010843033.8
• 申請(qǐng)日: 2020-08-20
• 公開（公告）號(hào): CN111932546A
• 公開（公告）日: 2020-11-13
• 發(fā)明（設(shè)計(jì)）人: 宋苗;張海濤
• 申請(qǐng)（專利權(quán)）人: 展訊通信（上海）有限公司
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10
• 代理公司: 上海弼興律師事務(wù)所 31283
• 代理人: 楊東明;余中燕

本發(fā)明提供一種圖像分割模型訓(xùn)練方法、圖像分割方法、裝置、設(shè)備及介質(zhì)，該訓(xùn)練方法包括：獲取樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集包含若干訓(xùn)練圖像，各所述訓(xùn)練圖像分別標(biāo)注有對(duì)應(yīng)的分割標(biāo)簽；根據(jù)所述樣本數(shù)據(jù)集對(duì)預(yù)先建立的圖像分割模型進(jìn)行訓(xùn)練，所述圖像分割模型包含編碼器和解碼器，其中，所述解碼器采用子像素卷積網(wǎng)絡(luò)進(jìn)行上采樣。本發(fā)明通過采用子像素卷積代替圖像分割模型的解碼器中常用的插值運(yùn)算或轉(zhuǎn)置卷積運(yùn)算進(jìn)行上采樣，可以解決傳統(tǒng)插值運(yùn)算或轉(zhuǎn)置卷積運(yùn)算引入過多人工誤差的問題，提高圖像分割精度。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種圖像分割模型訓(xùn)練方法、圖像分割方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

圖像語義分割任務(wù)是指將圖像中的每一個(gè)像素賦予一個(gè)帶有語義的標(biāo)簽。早期的語義分割算法采用的是FCN(全卷積網(wǎng)絡(luò))，F(xiàn)CN是一種端到端的卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，這種算法可以針對(duì)任何尺寸的圖像生成分割映射，但存在的問題是：在原始圖像分辨上進(jìn)行卷積運(yùn)算開銷大。為了解決這個(gè)問題，F(xiàn)CN采用了下采樣和上采樣處理，但由于池化等操作會(huì)使得大量信息丟失，導(dǎo)致FCN會(huì)生成比較粗糙的分割映射。為了得到更高效的分割效果，又出現(xiàn)了一種包含編碼器、解碼器的U形框架，在高分辨率的特征中引入跳躍連接(shortcut/skip connections)，以改善下采樣和上采樣后的粗糙分割映射。

目前的圖像語義分割算法大多基于編碼器-解碼器網(wǎng)絡(luò)框架。其中，編碼器通常是一個(gè)預(yù)訓(xùn)練的分類網(wǎng)絡(luò)，如VGG(visual geometry group，超分辨率測(cè)試序列)網(wǎng)絡(luò)、Resnet(殘差網(wǎng)絡(luò))等，編碼器主要進(jìn)行的是特征提取操作，通過下采樣逐漸縮減輸入數(shù)據(jù)的空間維度。不同算法的區(qū)別主要在于解碼器，解碼器主要是將編碼器提取到的低分辨率特征投影到高分辨率空間，以獲得更好的分割效果，目前解碼器部分通常是采用插值運(yùn)算或是轉(zhuǎn)置卷積運(yùn)算進(jìn)行上采樣，以實(shí)現(xiàn)分辨率的放大。傳統(tǒng)的插值方法是最簡(jiǎn)單的也是常用的手段，其直接對(duì)特征圖進(jìn)行雙線性上采樣到指定的倍數(shù)，但其缺點(diǎn)是過于簡(jiǎn)單且無可學(xué)習(xí)的參數(shù)，容易引入人工誤差，如果上采樣倍數(shù)很多，分割效果將很差；轉(zhuǎn)置卷積的優(yōu)點(diǎn)是可訓(xùn)練，但缺點(diǎn)是有補(bǔ)零操作，也容易引入人工誤差，效果也不是很理想，而且比較難訓(xùn)練。因而，無論圖像分割模型的解碼器采用插值運(yùn)算還是轉(zhuǎn)置卷積運(yùn)算進(jìn)行上采樣，均無法達(dá)到滿意的圖像分割效果。

發(fā)明內(nèi)容

針對(duì)上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種圖像分割模型訓(xùn)練方法、圖像分割方法、裝置、設(shè)備及介質(zhì)，以提高圖像分割效果。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種圖像分割模型訓(xùn)練方法，包括：

獲取樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集包含若干訓(xùn)練圖像，各所述訓(xùn)練圖像分別標(biāo)注有對(duì)應(yīng)的分割標(biāo)簽；

根據(jù)所述樣本數(shù)據(jù)集對(duì)預(yù)先建立的圖像分割模型進(jìn)行訓(xùn)練，所述圖像分割模型包含編碼器和解碼器，其中，所述解碼器采用子像素卷積網(wǎng)絡(luò)進(jìn)行上采樣。

在本發(fā)明一個(gè)優(yōu)選實(shí)施例中，當(dāng)獲取樣本數(shù)據(jù)集后，所述方法還包括：

對(duì)所述樣本數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理。

在本發(fā)明一個(gè)優(yōu)選實(shí)施例中，所述編碼器包含多個(gè)依次級(jí)聯(lián)的編碼模塊，其中，不同所述編碼模塊用于提取不同尺寸的編碼特征圖像。

在本發(fā)明一個(gè)優(yōu)選實(shí)施例中，所述編碼器采用輕量級(jí)網(wǎng)絡(luò)。

在本發(fā)明一個(gè)優(yōu)選實(shí)施例中，所述解碼器包含多個(gè)依次級(jí)聯(lián)的解碼模塊，其中，不同所述解碼模塊以跳躍連接方式與對(duì)應(yīng)所述編碼模塊相連，并且各所述解碼模塊分別包含所述子像素卷積模塊以及與所述子像素卷積模塊連接的殘差塊。

在本發(fā)明一個(gè)優(yōu)選實(shí)施例中，所述子像素卷積模塊包含卷積層、重塑層和轉(zhuǎn)置層。

在本發(fā)明一個(gè)優(yōu)選實(shí)施例中，所述根據(jù)所述樣本數(shù)據(jù)集對(duì)預(yù)先建立的圖像分割模型進(jìn)行訓(xùn)練，包括：