[發(fā)明專利]一種基于Attention機制的全卷積神經(jīng)網(wǎng)絡(luò)的眼底圖像分割方法

在審

• 申請?zhí)枺?/td>: 201911198519.4
• 申請日: 2019-11-29
• 公開（公告）號: CN110969117A
• 公開（公告）日: 2020-04-07
• 發(fā)明（設(shè)計）人: 季鑫;康宏
• 申請（專利權(quán)）人: 北京市眼科研究所;北京上工醫(yī)信科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06T7/00;G06T7/10;G06N3/04;G06N3/08
• 代理公司: 北京華識知識產(chǎn)權(quán)代理有限公司 11530
• 代理人: 楊凌波

本發(fā)明涉及醫(yī)學(xué)圖像處理領(lǐng)域，提供了一種基于Attention機制的全卷積神經(jīng)網(wǎng)絡(luò)的眼底圖像分割方法、系統(tǒng)及計算機可讀存儲介質(zhì)，其中方法包括：選取眼底視網(wǎng)膜圖像數(shù)據(jù)作為訓(xùn)練集和測試集；對所述訓(xùn)練集中的眼底視網(wǎng)膜圖像進(jìn)行預(yù)處理；在TensorFlow上構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)模型；利用訓(xùn)練好的全卷積神經(jīng)網(wǎng)絡(luò)模型對測試集進(jìn)行分割，得到最終分割結(jié)果。所述系統(tǒng)包括數(shù)據(jù)獲取模塊、預(yù)處理模塊、全卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建模塊和圖像分割模塊。本發(fā)明提供了從眼底圖像中自動分割視杯視盤的基于Attention機制的多連接完全卷積神經(jīng)網(wǎng)絡(luò)模型，克服了傳統(tǒng)方法的各種限制，并通過融合神經(jīng)網(wǎng)絡(luò)中的多級特征提高了模型的學(xué)習(xí)能力，提高了杯盤分割的精確度。

技術(shù)領(lǐng)域

本發(fā)明涉及醫(yī)學(xué)圖像處理技術(shù)領(lǐng)域，具體涉及一種基于Attention機制的全卷積神經(jīng)網(wǎng)絡(luò)的眼底圖像分割方法。

背景技術(shù)

視杯視盤是視網(wǎng)膜眼底圖像中最基本的組織結(jié)構(gòu)之一，視杯視盤形態(tài)的變化是臨床上診斷青光眼的重要依據(jù)。通過人工分割眼底圖像以查看視杯視盤形態(tài)的變化不僅耗時費力，而且不同醫(yī)生的診斷結(jié)果存在一定的主觀性，因而不適于進(jìn)行大規(guī)模的疾病篩查。因此，自動視網(wǎng)膜眼底圖像杯盤分割對于輔助醫(yī)生篩查青光眼是必要的。

現(xiàn)有對眼底圖像進(jìn)行分割的方法可以分為傳統(tǒng)分割方法和基于神經(jīng)網(wǎng)絡(luò)的分割方法。

使用傳統(tǒng)方法從眼底照中分割杯盤，主要用到的信息是眼底色差信息以及杯盤附近的血管彎曲信息。在早期階段，通常依靠杯盤邊緣之間的顏色強度差異，利用閾值來確定邊界，并且使用橢圓擬合等方法對邊界進(jìn)行后處理。進(jìn)一步，可結(jié)合色差信息與血管彎曲信息獲得更精確的杯盤邊界。然而這種方法對圖像本身質(zhì)量要求較高，分割出來的杯盤精度也較低。

采用神經(jīng)網(wǎng)絡(luò)分割方法進(jìn)行視網(wǎng)膜眼底圖像的自動分割的優(yōu)點是能夠自動分割并且準(zhǔn)確率較高。神經(jīng)網(wǎng)絡(luò)方法進(jìn)行視網(wǎng)膜眼底圖像分割可以被看作是一個語義分割問題。語義分割任務(wù)最初流行的深度學(xué)習(xí)方法是進(jìn)行圖像塊分類，即利用像素周圍的圖像塊對每一個像素進(jìn)行獨立的分類。加州大學(xué)伯克利分校的Long等人提出全卷積神經(jīng)網(wǎng)絡(luò)，使用全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分割可生成任意大小的圖像分割圖，且該方法比傳統(tǒng)圖像塊分類法效率更高。然而使用現(xiàn)有的全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行眼底圖像分割時，期間逐層提取特征的過程會導(dǎo)致許多有用信息丟失，進(jìn)而導(dǎo)致所構(gòu)建的模型最終學(xué)得的參數(shù)不能完全刻畫眼底圖像的視盤的特征。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明提供一種基于Attention機制的全卷積神經(jīng)網(wǎng)絡(luò)的眼底圖像分割方法。

本發(fā)明的目的采用以下技術(shù)方案來實現(xiàn)：

本發(fā)明第一方面提供了一種基于Attention機制的全卷積神經(jīng)網(wǎng)絡(luò)的眼底圖像分割方法，該方法包括以下步驟：

選取眼底視網(wǎng)膜圖像數(shù)據(jù)作為訓(xùn)練集和測試集，每個眼底視網(wǎng)膜圖像樣本包括原彩色眼底視網(wǎng)膜圖像和與其對應(yīng)的杯盤分割標(biāo)簽；

對所述訓(xùn)練集中的眼底視網(wǎng)膜圖像進(jìn)行預(yù)處理；

在TensorFlow上構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)模型；

利用訓(xùn)練好的全卷積神經(jīng)網(wǎng)絡(luò)模型對測試集進(jìn)行分割，得到最終分割結(jié)果；

其中，網(wǎng)絡(luò)包括Xception模塊、特征加權(quán)模塊、MCASPP模塊，所述全卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建步驟包括：

(1)將預(yù)處理后的訓(xùn)練集中的眼底視網(wǎng)膜圖像輸入所述Xception模塊，輸出所述眼底視網(wǎng)膜圖像的低層次特征和高層次特征；

(2)所述特征加權(quán)模塊對所述低層次特征執(zhí)行3×3的卷積操作，將所述高層次特征的全局上下文信息依次經(jīng)過1×1卷積、batch normalization和RELU，然后再與所述低層次特征相乘得到特征圖A，將所述高層次特征與所述特征圖A相加得到特征圖B，并進(jìn)行逐步的上采樣過程；