[發(fā)明專利]一種雙重注意力機(jī)制的舌裂紋提取方法

在審

• 申請?zhí)枺?/td>: 202110393854.0
• 申請日: 2021-04-13
• 公開（公告）號: CN115205987A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 張文強(qiáng);彭健強(qiáng);李馨蕾;楊大衛(wèi);張葉;王延杰
• 申請（專利權(quán)）人: 復(fù)旦大學(xué);中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所
• 主分類號: G06V40/70
• 分類號: G06V40/70;G06V10/26;G06V10/40;G06V10/774;G06V10/80
• 代理公司: 上海德昭知識產(chǎn)權(quán)代理有限公司 31204
• 代理人: 郁旦蓉

本發(fā)明提供了一種雙重注意力機(jī)制的舌裂紋提取方法，用于對舌裂紋圖像進(jìn)行提取得到舌裂紋結(jié)果，其特征在于，包括如下步驟：調(diào)整舌裂紋圖像的亮度以及對比度得到變換后圖像；對舌裂紋圖像以及變換后圖像處理得到雙重輸入特征圖；通過編碼器從雙重輸入特征圖中提取得到深層次特征圖，解碼器對深層次特征圖還原得到高級別特征圖；對舌裂紋圖像進(jìn)行卷積處理得到低級別特征圖，利用雙重注意力機(jī)制模塊對高級別特征圖以及低級別特征圖進(jìn)行信息融合得到像素級別的標(biāo)簽，從標(biāo)簽中得到舌裂紋結(jié)果。其中，雙重輸入特征圖、深層次特征圖以及高級別特征圖均通過快速卷積模塊進(jìn)行快速特征提取得到。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像分析領(lǐng)域，具體涉及一種雙重注意力機(jī)制的舌裂紋提取方法。

背景技術(shù)

計(jì)算機(jī)輔助診斷(簡稱CAD)是指幫助醫(yī)生解釋醫(yī)學(xué)圖像的系統(tǒng)。CAD系統(tǒng)處理數(shù)字圖像時(shí)會(huì)以突出顯示某些部分(例如可能的疾病)，以此提供初步診斷結(jié)果，從而支持專業(yè)人員的決策。之前，CAD系統(tǒng)主要用于檢測乳腺和胸部的節(jié)段性病變，使用時(shí)需要復(fù)雜的儀器和程序來獲得輸入圖像。近年來，由于舌表面病理特征的可分析性和舌圖像的易獲取性，CAD系統(tǒng)在舌診中的應(yīng)用逐漸受到重視。因此，舌表面病理特征的自動(dòng)提取具有重要意義，而提取得到舌表面病理特征是舌診斷CAD系統(tǒng)的基本組成部分。

舌裂紋是指舌表面不同深度和形狀的裂紋以及深入到舌表面的肌肉層的裂紋。在大多數(shù)情況下，舌裂紋可以被視為舌體表面一種變化的曲線結(jié)構(gòu)，其深度取決于舌粘膜萎縮和病變的嚴(yán)重程度。由于舌裂紋的一些量化指標(biāo)反映了臟腑的健康狀況，因此備受研究者的關(guān)注。Chen等人提出了一種基于Bot-hat變換和Otsu自適應(yīng)閾值的舌裂紋提取方法。Xue等人利用Alexnet提取裂紋區(qū)域的深層特征，訓(xùn)練多實(shí)例支持向量機(jī)(SVM)進(jìn)行最終決策從而得到目標(biāo)檢測結(jié)果。Chang等人利用ResNet50作為模型的主干，進(jìn)而利用梯度加權(quán)類激活映射(Gradcam)對舌裂區(qū)進(jìn)行識別和定位，并對舌裂區(qū)進(jìn)行可視化。雖然上述方法能夠取得一定的效果，但是仍存在如下問題：

1)舌裂紋邊界模糊。在實(shí)際應(yīng)用中，對一些小的區(qū)域進(jìn)行分割是相當(dāng)困難的，例如寬度小、深度不同的裂縫區(qū)域。更重要的是，與磚、路面和鋼材表面不同，舌面并不光滑不平。舌片表面呈現(xiàn)復(fù)雜的蓬松結(jié)構(gòu)，因此對舌片裂紋的邊界判斷造成很大干擾。此外，舌裂受舌表面豐富的病理細(xì)節(jié)的干擾，有些裂紋甚至逐漸變?yōu)槠胀y理，這使得放大圖像后難以區(qū)分某些像素是否屬于舌裂區(qū)域。因此，在許多圖像中，裂紋區(qū)域邊界很難區(qū)分，一些困難的情況甚至給像素級標(biāo)記帶來了挑戰(zhàn)。

2)舌裂紋圖片具有多樣性。舌裂紋圖像的多樣性可以大致分為兩種。一種是舌裂紋形狀的多樣性，有些舌裂比較厚、深，但有的又淺又薄，占據(jù)了一個(gè)小面積(可能只有幾個(gè)像素大小)，難以觀察和分辨，難以讓模型掌握它的形狀特征。而另一種則是指非裂紋區(qū)域的多樣性，如舌質(zhì)和舌苔的顏色多樣性。在某些極端情況下，舌裂的顏色與裂紋周圍的舌苔顏色有著很高的相似性，難以辨別。此外，背景中的像素差異會(huì)帶來很大的干擾，例如舌緣區(qū)域帶來的干擾。總之，上述所有的方法都對分割模型的前景理解有一定的危害。

3)準(zhǔn)確性和效率之間無法權(quán)衡。近年來，隨著家庭智能醫(yī)生的普及，在家用機(jī)器人和手機(jī)等移動(dòng)電子設(shè)備上應(yīng)用CAD系統(tǒng)的需求日益增長，這有助于為用戶提供安全、方便、廉價(jià)的醫(yī)療服務(wù)。因此，實(shí)現(xiàn)舌裂的實(shí)時(shí)提取具有重要意義。然而，大多數(shù)高精度算法通常需要大量的內(nèi)存和計(jì)算資源，移動(dòng)電子設(shè)備有限的計(jì)算能力也限制了分割精度。此外，由于深度學(xué)習(xí)方法的解釋性不足，使得神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中各參數(shù)的性能最大化是非常困難的。因此，提高計(jì)算精度，同時(shí)降低計(jì)算量是一個(gè)很大的挑戰(zhàn)。

綜上，目前還沒有一種具有良好泛化性能的像素級的、精確的且實(shí)時(shí)性較高的舌裂紋提取方法。

發(fā)明內(nèi)容

為解決上述問題，提供一種補(bǔ)全信息從而提高腺體分割邊界解決腺體無法從背景中分別出來的問題的圖像分割方法，本發(fā)明采用了如下技術(shù)方案：