[發(fā)明專利]一種基于局部視覺(jué)線索的髖關(guān)節(jié)X光圖像分割方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910757166.0
• 申請(qǐng)日: 2019-08-16
• 公開(kāi)（公告）號(hào): CN110490880A
• 公開(kāi)（公告）日: 2019-11-22
• 發(fā)明（設(shè)計(jì)）人: 舒禹程;李偉生;吳瀟;馬旭;齊大遜;趙君
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11
• 代理公司: 50215 重慶輝騰律師事務(wù)所
• 代理人: 盧勝斌<國(guó)際申請(qǐng)>=<國(guó)際公布>=<進(jìn)入

本發(fā)明涉及一種基于局部視覺(jué)線索的髖關(guān)節(jié)X光圖像分割方法及系統(tǒng)，所述方法包括：對(duì)數(shù)據(jù)集中的圖像數(shù)據(jù)進(jìn)行預(yù)處理，學(xué)習(xí)標(biāo)準(zhǔn)U?net網(wǎng)絡(luò)的第一層卷積塊特征，使用Sobel算子得到粗糙標(biāo)簽，通過(guò)第一卷積塊特征和粗糙標(biāo)簽提取局部視覺(jué)線索LVC，用LVC結(jié)合S?loss損失函數(shù)指導(dǎo)U?net網(wǎng)絡(luò)輸出初步分割結(jié)果圖，利用LVC生成LVC局部視覺(jué)指導(dǎo)，并與初步分割結(jié)果圖通過(guò)可變形的空間變換網(wǎng)絡(luò)，輸出采樣偏移場(chǎng)，將初步分割結(jié)果圖進(jìn)行重采樣得到圖像的最終分割結(jié)果；本發(fā)明解決醫(yī)學(xué)圖像分割過(guò)程中監(jiān)督學(xué)習(xí)模型容易受到標(biāo)簽噪聲的影響的問(wèn)題，降低醫(yī)學(xué)圖像標(biāo)簽生成的復(fù)雜度。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的技術(shù)領(lǐng)域。具體涉及一種基于局部視覺(jué)線索的自動(dòng)化糾正語(yǔ)義分割錯(cuò)誤的弱監(jiān)督髖關(guān)節(jié)圖像分割方法。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了非常好的效果，是適用于各種圖像任務(wù)的優(yōu)秀圖像特征提取器。但是，醫(yī)學(xué)領(lǐng)域的電子計(jì)算機(jī)斷層掃描CT圖像、磁共振成像MRI圖像、X光(X射線)圖像，由于其數(shù)據(jù)標(biāo)記困難，數(shù)據(jù)量少，與自然圖像有極大的區(qū)別，導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)無(wú)法很好應(yīng)用到醫(yī)學(xué)圖像中。

在髖關(guān)節(jié)發(fā)育不良的醫(yī)學(xué)領(lǐng)域，發(fā)育性髖關(guān)節(jié)不全(DDH)的篩查工作，主要依賴于醫(yī)生幾何角度計(jì)算和觀察。對(duì)髖關(guān)節(jié)分割檢測(cè)，傳統(tǒng)方法有采用CT圖像相似性分割和對(duì)圖像視覺(jué)算法的貝葉斯決策提高分割效果，以及醫(yī)學(xué)影像進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行智能分割，提出基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的雙向長(zhǎng)短記憶醫(yī)學(xué)圖像分割方法。傳統(tǒng)檢測(cè)方法的無(wú)監(jiān)督算法精度不高，而全監(jiān)督算法依賴于數(shù)據(jù)標(biāo)注質(zhì)量和數(shù)量，模型無(wú)法自發(fā)地發(fā)現(xiàn)標(biāo)注錯(cuò)誤，從而導(dǎo)致髖關(guān)節(jié)分割效果不佳。

CNN(卷積神經(jīng)網(wǎng)絡(luò))，有多個(gè)變種網(wǎng)絡(luò)架構(gòu)，主要應(yīng)用于圖像的特征提取，卷積層、池化層是卷積神經(jīng)網(wǎng)絡(luò)的主要模塊，CNN通過(guò)某種初始化來(lái)設(shè)置卷積層的參數(shù)，而卷積核的大小、個(gè)數(shù)作為超參數(shù)，由人進(jìn)行調(diào)節(jié)，卷積神經(jīng)網(wǎng)絡(luò)在最后借由softmax分類器、二值分類器、sigmoid激活函數(shù)將圖像的前景、背景或多個(gè)類別進(jìn)行判別。基于CNN的特征提取和類別判斷能力，CNN通過(guò)一個(gè)新的逐像素分類器和分割標(biāo)簽，實(shí)現(xiàn)了物體分割的效果。但經(jīng)典的全卷積分割算法需要大量精準(zhǔn)的數(shù)據(jù)標(biāo)注，而數(shù)據(jù)標(biāo)注資源在醫(yī)學(xué)領(lǐng)域十分有限。

U-net網(wǎng)絡(luò)使用的跳躍連接可以直接將低層信息傳播到底層網(wǎng)絡(luò)，從而大大地提高分割精度。然而，它的有效性在很大程度上取決于標(biāo)簽的精度。因此，如果標(biāo)簽被污染，特別是在邊緣處，有用的細(xì)節(jié)特征可能不會(huì)被網(wǎng)絡(luò)學(xué)習(xí)。在這種情況下，尤其是在基于標(biāo)簽的監(jiān)督框架上構(gòu)建學(xué)習(xí)模型時(shí)，不保證該算法能夠自發(fā)地發(fā)現(xiàn)有用的視覺(jué)線索去對(duì)抗錯(cuò)誤的標(biāo)簽，并最終引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)的算法達(dá)到真正最優(yōu)。

發(fā)明內(nèi)容

為解決上述問(wèn)題，本發(fā)明的目的在于提供一種基于局部視覺(jué)線索的髖關(guān)節(jié)X光圖像分割方法及系統(tǒng)，首先，由于網(wǎng)絡(luò)的前端受標(biāo)簽的影響相對(duì)較小，我們從網(wǎng)絡(luò)低層信息捕捉局部視覺(jué)特征，稱為局部視覺(jué)線索(LVC)；然后，進(jìn)一步將一個(gè)可變形的空間轉(zhuǎn)換模塊集成到我們的編解碼網(wǎng)絡(luò)中，為局部接受場(chǎng)提供額外的自由，使網(wǎng)絡(luò)能夠在學(xué)習(xí)過(guò)程中自發(fā)地建立預(yù)測(cè)結(jié)果和LVC之間的視覺(jué)聯(lián)系；最后，提出了一種新的損失函數(shù)S-loss來(lái)指導(dǎo)噪聲標(biāo)簽、LVC和變形網(wǎng)絡(luò)的有效正則化。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于局部視覺(jué)線索的髖關(guān)節(jié)X光圖像分割方法，包括以下步驟：

步驟1，獲取X光圖像標(biāo)注的數(shù)據(jù)集，對(duì)數(shù)據(jù)集中的圖像數(shù)據(jù)進(jìn)行預(yù)處理，得到基于分割標(biāo)注的髖關(guān)節(jié)區(qū)域(ROI)，將ROI區(qū)域歸一化；

步驟2，將預(yù)處理后的數(shù)據(jù)集輸入標(biāo)準(zhǔn)U-net網(wǎng)絡(luò)模型，學(xué)習(xí)標(biāo)準(zhǔn)U-net網(wǎng)絡(luò)的第一層卷積塊特征；

步驟3，提取數(shù)據(jù)集中不同大小的需要分割區(qū)域，使用Sobel算子進(jìn)行預(yù)處理，得到LVC生成器所需的粗糙標(biāo)簽；

步驟4，將所述U-net網(wǎng)絡(luò)第一卷積塊特征和粗糙標(biāo)簽送入局部視覺(jué)線索(LVC)生成器中提取LVC；