[發(fā)明專利]多路多尺度并聯(lián)編解碼網(wǎng)絡(luò)圖像分割方法、系統(tǒng)及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011312332.5
• 申請日: 2020-11-20
• 公開（公告）號: CN112216371B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計）人: 薛健;黃彬;呂科
• 申請（專利權(quán)）人: 中國科學(xué)院大學(xué)
• 主分類號: G16H30/20
• 分類號: G16H30/20;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 北京紀(jì)凱知識產(chǎn)權(quán)代理有限公司 11245
• 代理人: 孫楠

本發(fā)明涉及一種多路多尺度并聯(lián)編解碼網(wǎng)絡(luò)圖像分割方法、系統(tǒng)及介質(zhì)，其包括：將訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，然后劃分?jǐn)?shù)據(jù)集為訓(xùn)練集和測試集；訓(xùn)練集用于訓(xùn)練多路多尺度編解碼網(wǎng)絡(luò)深度學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)，測試集用于驗證迭代完成的網(wǎng)絡(luò)參數(shù)的泛化性能，如果測試集精度不滿足預(yù)先設(shè)定要求則從新劃分?jǐn)?shù)據(jù)集進(jìn)行訓(xùn)練，如果滿足預(yù)先設(shè)定要求則保存網(wǎng)絡(luò)參數(shù)；對待預(yù)測數(shù)據(jù)作與訓(xùn)練數(shù)據(jù)相同的預(yù)處理，載入訓(xùn)練好的網(wǎng)絡(luò)參數(shù)，最后對模型輸入圖像，并得到分割預(yù)測結(jié)果，分割結(jié)果以概率圖表示。本發(fā)明能在醫(yī)學(xué)圖像分割任務(wù)中保持整體分割精度的同時，提高了對目標(biāo)細(xì)節(jié)的分割效果，并且使網(wǎng)絡(luò)訓(xùn)練收斂速度更快。

技術(shù)領(lǐng)域

本發(fā)明涉及一種計算機(jī)視覺以及醫(yī)學(xué)圖像分析和處理領(lǐng)域，特別是關(guān)于一種多路多尺度并聯(lián)編解碼網(wǎng)絡(luò)圖像分割方法、系統(tǒng)及介質(zhì)。

背景技術(shù)

醫(yī)學(xué)圖像分割是一個經(jīng)典難題，隨著影像醫(yī)學(xué)技術(shù)的發(fā)展，圖像分割在醫(yī)學(xué)應(yīng)用中具有特殊的重要意義。進(jìn)一步而言，圖像分割是提取影像圖像中特殊組織定量信息的不可缺少的手段，同時也是可視化分析和展示的預(yù)處理步驟和前提。常見的醫(yī)學(xué)圖像包括電子計算機(jī)斷層掃描(CT)、正電子放射層析成像技術(shù)(PET)、單光子輻射斷層攝像(SPECT)、磁共振成像技術(shù)(MRI)、超聲成像(Ultrasound)、顯微鏡成像(Microscope)及其它醫(yī)學(xué)影像設(shè)備所獲得的圖像。分割后的圖像正被廣泛應(yīng)用于各種場合，如組織容積的定量分析、病變組織的定位、解剖結(jié)構(gòu)的學(xué)習(xí)、輔助診斷、治療規(guī)劃等。

目前基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割算法有了很大的進(jìn)步，例如：“ISBI EMSegmentation”競賽中的第一名CE-NET和U-NET++，“2015MICCAI Polyp Detection”競賽的第一名DoubleUNet，“iSEG 2017Challenge”競賽和“2018Data Science Bowl”數(shù)據(jù)集的第一名HyperDenseNet，“Kvasir-SEG”數(shù)據(jù)集的第一名PraNet等等。在眾多算法中，基于編解碼網(wǎng)絡(luò)的分割算法在圖像分割精度上有更好的表現(xiàn)。編解碼網(wǎng)絡(luò)的基本結(jié)構(gòu)由編碼器encoder與解碼器decoder組成。編碼器的任務(wù)是在給定輸入圖像后，通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到輸入圖像的特征圖譜；而解碼器則在編碼器提供特征圖后，逐步實現(xiàn)每個像素的類別標(biāo)注，也就是分割。U-Net是經(jīng)典的單路編解碼網(wǎng)絡(luò)算法，U-Net在encoder與decoder之間引入skip連接結(jié)構(gòu)，極大提升了編解碼網(wǎng)絡(luò)算法性能，它的提出對醫(yī)學(xué)圖像分割有重大的意義，同時對其他領(lǐng)域的圖像分割研究也產(chǎn)生了深遠(yuǎn)的影響。目前在各個數(shù)據(jù)集上有很好分割精度的眾多編解碼網(wǎng)絡(luò)算法，有相當(dāng)一部分都保留了U-Net的skip網(wǎng)絡(luò)結(jié)構(gòu)，并經(jīng)過改進(jìn)。

基于編解碼網(wǎng)絡(luò)的分割算法雖然取得了很大的發(fā)展，但是圖像分割結(jié)果中細(xì)節(jié)的丟失問題仍然突出，而圖像細(xì)節(jié)的保留在臨床醫(yī)學(xué)中尤為關(guān)鍵。通常來說，在圖像分割目標(biāo)的區(qū)域中，細(xì)節(jié)區(qū)域占整體的極少部分，這將形成樣本不平衡問題，使網(wǎng)絡(luò)對細(xì)節(jié)區(qū)域的分割難以訓(xùn)練；同時編解碼網(wǎng)絡(luò)算法大多使用經(jīng)典的單路“encoder-decoder”結(jié)構(gòu)，所謂單路是指編碼器中的小尺度深層語義由且僅由大尺度漸層語義下采樣得到，而解碼器中分割結(jié)果或大尺度漸層語義依賴于小尺度深層語義。使用單路深層encoder將使得深層語義嚴(yán)重依賴淺層語義，encoder深層對細(xì)節(jié)特征的保留能力不足，使得深層語義對整體分割效果有決定性作用，這也導(dǎo)致了單路深層編解碼網(wǎng)絡(luò)算法對圖像整體分割結(jié)果量化指標(biāo)較好但實際上分割細(xì)節(jié)丟失嚴(yán)重的問題。針對這一難題，學(xué)者們提出了很多改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)，例如UNet++的“Redesigning Skip Connections”結(jié)構(gòu)、Attention U-Net中的注意力機(jī)制、HyperDense-Net的“hyper-densely connected”結(jié)構(gòu)等，也提出了改進(jìn)的損失函數(shù)BCE+Dice loss損失函數(shù)、AnatomyNet的“Dice+Focal loss”損失函數(shù)等等，但是這些算法主要還是基于單路深層編解碼網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)和損失函數(shù)的改進(jìn)，沒有對單路深層網(wǎng)絡(luò)特征之間的深度耦合問題進(jìn)行更深入的分析和處理。

綜合上述分析，研究能有效處理深度學(xué)習(xí)算法在醫(yī)學(xué)圖像分割中的細(xì)節(jié)丟失問題顯得尤為重要。

發(fā)明內(nèi)容