[發(fā)明專(zhuān)利]一種基于Vision Transformer的翼狀胬肉病灶區(qū)域的分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310254245.6
• 申請(qǐng)日: 2023-03-11
• 公開(kāi)（公告）號(hào): CN116310335A
• 公開(kāi)（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 朱紹軍;方新聞;鄭博;吳茂念;楊衛(wèi)華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 湖州師范學(xué)院
• 主分類(lèi)號(hào): G06V10/26
• 分類(lèi)號(hào): G06V10/26;G06V10/40;G06V10/80;G06V10/82;G06T7/11;G06T7/13;G06T7/00;G06N3/0464;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于Vision?Transformer的翼狀胬肉病灶區(qū)域的分割方法，屬于圖像處理與應(yīng)用技術(shù)領(lǐng)域，本發(fā)明目的是解決現(xiàn)有針對(duì)翼狀胬肉病灶區(qū)域定位、分割不準(zhǔn)確等問(wèn)題。本方法包括：選取合作醫(yī)院提供的眼前節(jié)圖像作為原始樣本，將樣本劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，并進(jìn)行一系列預(yù)處理操作；提出了融合Vision?Transformer、卷積網(wǎng)絡(luò)和金字塔池化模塊相融合的語(yǔ)義分割模型對(duì)眼前節(jié)圖像中翼狀胬肉病灶區(qū)域進(jìn)行語(yǔ)義分割，利用本發(fā)明提出的基于Vision?Transformer的翼狀胬肉病灶區(qū)域的分割方法可以提取出更多的目標(biāo)信息從而實(shí)現(xiàn)對(duì)眼前節(jié)圖像中翼狀胬肉的高效且準(zhǔn)確的分割。

技術(shù)領(lǐng)域

本發(fā)明屬于醫(yī)學(xué)圖像處理與應(yīng)用技術(shù)領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的翼狀胬肉病灶區(qū)域的分割方法。

背景技術(shù)

全球翼狀胬肉的患病率約為12％。在2015年之前，學(xué)者們大多通過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)來(lái)實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的分割。傳統(tǒng)的分割方法有閾值法、區(qū)域生長(zhǎng)法和邊緣檢測(cè)法等，但傳統(tǒng)機(jī)器學(xué)習(xí)在醫(yī)學(xué)影像上的分割精度和效率難以達(dá)到實(shí)際應(yīng)用要求。

近來(lái)年，很多研究已經(jīng)通過(guò)深度學(xué)習(xí)中的卷積技術(shù)實(shí)現(xiàn)疾病的分類(lèi)診斷并達(dá)到了95％左右的準(zhǔn)確率。但只通過(guò)分類(lèi)結(jié)果并不能為翼狀胬肉的手術(shù)治療提供病灶區(qū)域的精準(zhǔn)定位。目前國(guó)內(nèi)外通過(guò)卷積技術(shù)在醫(yī)學(xué)分割領(lǐng)域的應(yīng)用研究較多，且分割精度已經(jīng)超過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)。雖然通過(guò)深度卷積可以提取目標(biāo)信息，但是很多的邊緣細(xì)節(jié)信息卻在卷積過(guò)程中丟失，導(dǎo)致邊緣分割效果不理想。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明針對(duì)翼狀胬肉的數(shù)據(jù)少、分割精度低以及邊界難分割等問(wèn)題，提出一種基于Vision?Transformer的翼狀胬肉病灶區(qū)域的分割方法。該方法使用VisionTransformer為主干并以卷積神經(jīng)網(wǎng)絡(luò)為輔助，融合注意力機(jī)制，使用專(zhuān)家標(biāo)注的翼狀胬肉病灶區(qū)域數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，以提取翼狀胬肉區(qū)域的完整信息為目標(biāo)，根據(jù)模型網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)和醫(yī)學(xué)圖像分割任務(wù)的需求提出新的分割方法，以此實(shí)現(xiàn)對(duì)翼狀胬肉的精準(zhǔn)分割。

技術(shù)方案：

1.基于Vision?Transformer的翼狀胬肉病灶區(qū)域的分割方法，所述分割方法包括采集模塊、語(yǔ)義分割網(wǎng)絡(luò)模塊和訓(xùn)練模塊，利用數(shù)據(jù)采集模塊、語(yǔ)義分割網(wǎng)絡(luò)模塊和訓(xùn)練模塊對(duì)患病眼前節(jié)圖像進(jìn)行分割處理，其特征是，具體為以下步驟：

(1)所述的患病眼前節(jié)圖像構(gòu)成一組翼狀胬肉分割數(shù)據(jù)集，所述翼狀胬肉分割數(shù)據(jù)集作為原始數(shù)據(jù)樣本，所述數(shù)據(jù)采集模塊對(duì)所述的原始數(shù)據(jù)樣本中的圖像進(jìn)行預(yù)處理操作，以保證圖像的長(zhǎng)和高相同，形成一組訓(xùn)練集圖像；

(2)利用所述語(yǔ)義分割網(wǎng)絡(luò)模塊對(duì)所述訓(xùn)練集圖像進(jìn)行分割，所述語(yǔ)義分割網(wǎng)絡(luò)模塊包括Vision?Transformer網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)；所述Vision?Transformer網(wǎng)絡(luò)利用一種圖像分塊方法對(duì)所述訓(xùn)練集圖像進(jìn)行處理，通過(guò)疊加多層的多頭注意力機(jī)制獲得一種圖像塊關(guān)聯(lián)關(guān)系，進(jìn)而取得圖像注意力圖；所述卷積網(wǎng)絡(luò)通過(guò)一種多層的卷積操作取得圖像特征圖；所述圖像注意力圖和圖像特征圖通過(guò)矩陣加法運(yùn)算得到所述圖像特征圖，通過(guò)一種金字塔池化方法獲得翼狀胬肉分割圖；

(3)利用訓(xùn)練模塊對(duì)分割模型進(jìn)行訓(xùn)練，將所述翼狀胬肉分割數(shù)據(jù)集輸入所述語(yǔ)義分割網(wǎng)絡(luò)模塊進(jìn)行訓(xùn)練，訓(xùn)練時(shí)通過(guò)設(shè)置學(xué)習(xí)率、損失函數(shù)方法、學(xué)習(xí)迭代周期調(diào)整模型參數(shù)，最終形成翼狀胬肉病灶區(qū)域分割模型；

所述的預(yù)處理操作為：

本發(fā)明方法要求的輸入圖像尺寸為M×N×3，M和N為正整數(shù)，原始圖像尺寸為H×W，H和W為正整數(shù)，先將圖像進(jìn)行縮放為M×((N/H)×W)，再將較短的邊兩邊平均補(bǔ)上灰邊將其尺寸轉(zhuǎn)換為M×N；

所述的圖像分塊方法為：