[發(fā)明專(zhuān)利]一種圖像處理方法及裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010761819.5
• 申請(qǐng)日: 2020-07-31
• 公開(kāi)（公告）號(hào): CN111932555A
• 公開(kāi)（公告）日: 2020-11-13
• 發(fā)明（設(shè)計(jì)）人: 高云河;黃銳;胡志強(qiáng);李鴻升
• 申請(qǐng)（專(zhuān)利權(quán)）人: 商湯集團(tuán)有限公司
• 主分類(lèi)號(hào): G06T7/11
• 分類(lèi)號(hào): G06T7/11;G06T7/187;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 王花麗;張穎玲

本公開(kāi)提供了一種圖像處理方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)；方法包括：通過(guò)主圖像分割模型對(duì)待處理圖像進(jìn)行特征提取，得到待處理圖像的特征圖；根據(jù)特征圖，通過(guò)目標(biāo)圖像分割模型對(duì)分割目標(biāo)進(jìn)行圖像分割，得到目標(biāo)分割結(jié)果；其中，目標(biāo)圖像分割模型通過(guò)與圖像編碼模型進(jìn)行對(duì)抗訓(xùn)練得到；圖像編碼模型用于對(duì)目標(biāo)分割結(jié)果進(jìn)行形狀約束。通過(guò)本公開(kāi)，能夠提高圖像分割的準(zhǔn)確度。

技術(shù)領(lǐng)域

本公開(kāi)涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像處理方法及裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

目前的深度學(xué)習(xí)分割算法通常只通過(guò)圖像特征進(jìn)行像素級(jí)別的分割，而忽略的分割結(jié)果的形狀，這就可能導(dǎo)致分割結(jié)果出現(xiàn)離群點(diǎn)。例如，在醫(yī)學(xué)圖像中進(jìn)行危及器官的圖像分割時(shí)，目前的深度學(xué)習(xí)分割算法所預(yù)測(cè)出的器官形狀與醫(yī)學(xué)先驗(yàn)知識(shí)不同。比如視神經(jīng)交叉，它的解剖結(jié)構(gòu)為一個(gè)X形，但目前大多數(shù)使用交叉熵?fù)p失函數(shù)或Dice損失函數(shù)的深度學(xué)習(xí)網(wǎng)絡(luò)會(huì)將其預(yù)測(cè)為類(lèi)似橢圓的平滑形狀，導(dǎo)致圖像分割結(jié)果與先驗(yàn)知識(shí)不符，降低了圖像分割的準(zhǔn)確度。

發(fā)明內(nèi)容

本公開(kāi)實(shí)施例期望提供一種圖像處理方法及裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能夠提高圖像分割的準(zhǔn)確度。

本公開(kāi)的技術(shù)方案是這樣實(shí)現(xiàn)的：

本公開(kāi)實(shí)施例提供一種圖像處理方法，所述方法包括：

通過(guò)主圖像分割模型對(duì)待處理圖像進(jìn)行特征提取，得到所述待處理圖像的特征圖；

根據(jù)所述特征圖，通過(guò)目標(biāo)圖像分割模型對(duì)所述分割目標(biāo)進(jìn)行圖像分割，得到目標(biāo)分割結(jié)果；其中，所述目標(biāo)圖像分割模型通過(guò)與圖像編碼模型進(jìn)行對(duì)抗訓(xùn)練得到；所述圖像編碼模型用于對(duì)所述目標(biāo)分割結(jié)果進(jìn)行形狀約束。

上述方案中，所述根據(jù)所述特征圖，通過(guò)目標(biāo)圖像分割模型對(duì)所述分割目標(biāo)進(jìn)行圖像分割，得到目標(biāo)分割結(jié)果之前，所述方法還包括：

獲取訓(xùn)練樣本圖像集合，所述訓(xùn)練樣本圖像集合中包含所述分割目標(biāo)對(duì)應(yīng)的至少一個(gè)訓(xùn)練樣本圖像，所述訓(xùn)練樣本圖像上帶有標(biāo)注分割目標(biāo)；

通過(guò)初始目標(biāo)圖像分割模型，對(duì)每個(gè)訓(xùn)練樣本圖像進(jìn)行圖像分割，得到預(yù)測(cè)分割圖像；

根據(jù)所述標(biāo)注分割目標(biāo)和所述預(yù)測(cè)分割圖像，結(jié)合初始圖像編碼模型，對(duì)所述初始目標(biāo)圖像分割模型進(jìn)行對(duì)抗訓(xùn)練，得到目標(biāo)圖像分割模型。

上述方案中，所述根據(jù)所述標(biāo)注分割目標(biāo)和所述預(yù)測(cè)分割圖像，結(jié)合初始圖像編碼模型，對(duì)所述初始目標(biāo)圖像分割模型進(jìn)行對(duì)抗訓(xùn)練，得到目標(biāo)圖像分割模型，包括：

利用初始圖像編碼模型，對(duì)所述標(biāo)注分割目標(biāo)和所述預(yù)測(cè)分割圖像進(jìn)行編碼，得到第一空間形狀編碼和第二空間形狀編碼；其中，所述第一空間形狀編碼為所述標(biāo)注分割目標(biāo)的低維流形空間表示；所述第二空間形狀編碼為所述預(yù)測(cè)分割圖像的低維流形空間表示；

通過(guò)預(yù)設(shè)最小平方誤差損失函數(shù)，計(jì)算所述第一空間形狀編碼和所述第二空間形狀編碼之間的編碼距離，得到預(yù)測(cè)誤差；

基于所述預(yù)測(cè)誤差的形狀約束，對(duì)所述初始目標(biāo)圖像分割模型的網(wǎng)絡(luò)參數(shù)進(jìn)行更新，迭代上述對(duì)抗訓(xùn)練過(guò)程直至最終的預(yù)測(cè)誤差小于預(yù)設(shè)分割誤差閾值時(shí)，結(jié)束所述訓(xùn)練過(guò)程，得到所述目標(biāo)圖像分割模型。

上述方案中，其特征在于，所述初始圖像編碼模型包括解碼子模型，所述通過(guò)預(yù)設(shè)最小平方誤差損失函數(shù)，對(duì)第一空間形狀編碼和第二空間形狀編碼進(jìn)行處理，得到預(yù)測(cè)誤差之后，所述方法還包括：

通過(guò)所述解碼子模型，對(duì)所述第一空間形狀編碼與所述第二空間形狀編碼分別進(jìn)行解碼與圖形重構(gòu)，對(duì)應(yīng)得到第一重構(gòu)圖像與第二重構(gòu)圖像；

通過(guò)預(yù)設(shè)重構(gòu)損失函數(shù)，對(duì)所述標(biāo)注分割目標(biāo)與所述第一重構(gòu)圖像之間的誤差，以及所述預(yù)測(cè)分割圖像與所述第二重構(gòu)圖像之間的誤差進(jìn)行組合，得到所述初始圖像編碼模型的重構(gòu)誤差。