[發明專利]一種基于信息損失區域檢測機制的舌圖像分割方法

在審

• 申請號: 202210833515.4
• 申請日: 2022-07-15
• 公開（公告）號: CN115147605A
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 牛秋月;曹莉;任靖娟;趙春霞;李瑞昌;王曉鵬
• 申請（專利權）人: 河南中醫藥大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/25;G06V10/52;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 鄭州天陽專利事務所(普通合伙) 41113
• 代理人: 蔡文雅

1.一種基于信息損失區域檢測機制的舌圖像分割方法，其特征在于，包括以下步驟：

步驟1:收集舌圖像數據集

舌圖像分割數據集主要用于訓練、驗證和測試網絡模型，為提高網絡模型的泛化性，數據集通過舌診采集儀器、開源數據庫下載和手機攝像頭拍攝三種方式獲得；

步驟2:舌圖像標注與預處理

為使訓練的網絡模型分割準確率更好，需先用Labelme圖像標注工具對步驟1收集到的舌像進行舌體輪廓標注，之后利用數據增強程序對標注后的舌圖像隨機進行旋轉、平移、縮放、添加噪聲進行預處理，擴充原來的舌圖像數據集；

步驟3:構建舌圖像分割模型

通過識別舌圖像分割中容易出錯的物體邊界和高頻區域，來提高舌圖像分割的準確率；這些區域稱之為信息損失區域，基于信息損失區域檢測機制的舌圖像分割主要包括：主干特征提取、構建特征金字塔、構建四叉樹和基于Transformer的舌圖像分割；

步驟4：訓練并測試舌圖像分割模型

在訓練過程中，將隨機排列每個待分割舌圖像的信息損失區域的順序，并保證每個待分割舌圖像具有相同的序列長度，在測試過程中，首先使用四叉樹識別信息損失區域，然后使用構建的舌圖像分割模型預測四叉樹中所有信息損失區域的精細分割結果，最后利用四叉樹融合多個特征層級的預測結果，完成整個舌圖像的分割。

2.根據權利要求1所述的基于信息損失區域檢測機制的舌圖像分割方法，其特征在于，所述的步驟3中，主干特征提取采用ResNet101作為主干特征提取網絡，為了防止舌圖像失真和保證分割效果的精確，首先在原舌圖像邊緣加灰條并保證邊長能夠整除2的6次方，然后傳入到主干特征提取網絡處理，經過一系列的卷積、標準化和激活函數之后，舌圖像的長和寬不斷的進行壓縮，獲得多個共享特征層，也就是相當于把舌圖像劃分成多個網格。

3.根據權利要求1所述的基于信息損失區域檢測機制的舌圖像分割方法，其特征在于，所述的步驟3中，構建特征金字塔的方法為：取出經過主干特征提取之后獲得的共享特征層進行卷積、上采樣，使舌圖像特征不斷變大，并和上級特征層進行組合，構造特征金字塔，獲得有效特征層；提取到的有效特征層一部分作為區域生成網絡的有效特征層，通過建議框的獲取，生成粗略的分割結果，一部分用來構建ROI特征金字塔，作為后續四叉樹的輸入，實現高精度的舌圖像分割。

4.根據權利要求1所述的基于信息損失區域檢測機制的舌圖像分割方法，其特征在于，所述的步驟3中，構建四叉樹的方法為：首先將最低層的ROI特征和初始的舌體mask預測作為輸入，采用一個全卷積網絡進行四個3×3卷積來預測四叉樹的根結點，每個根結點分解到臨近更高ROI層對應的4個子結點，對于高層的ROI特征，繼續對上一層損失區域檢測的mask做上采樣，然后與ROI特征拼接組合，并使用單個1×1卷積層預測更精細的信息損失結點，以保持檢測模塊的輕量化。

5.根據權利要求1所述的基于信息損失區域檢測機制的舌圖像分割方法，其特征在于，所述的步驟3中，基于Transformer的舌圖像分割方法包含三個模塊：結點編碼器、序列編碼器和像素解碼器；結點編碼器選取四叉樹的三個層級信息損失點作為輸入，首先豐富每個信息損失結點的特征表示，四叉樹結點經結點編碼器編碼之后，為了建立點與點之間的關聯，序列編碼器中的多頭注意力模塊會對輸入序列進行點之間的特征融合及更新，序列編碼器的每一層都由多頭自注意力模塊和全連接的前饋網絡組成，可以執行序列上的全局跨尺度預測，最后，再由像素解碼器對序列編碼器編碼之后的結點進行解碼，預測每個點是否屬于舌體。

6.根據權利要求1所述的基于信息損失區域檢測機制的舌圖像分割方法，其特征在于，具體包括以下步驟：

步驟1：收集舌圖像數據集

數據集從以下三個渠道獲得：（1）通過舌診采集儀器采集到的100張舌像；（2）在GitHub上下載的開源舌像100張；（3）通過手機攝像頭采集到的舌像50張；

步驟2：舌圖像標注與預處理

使用Labelme圖像標注工具對步驟1收集到的250張舌像進行舌體輪廓標注，保存標注文件并批量生成數據集；然后，利用數據增強程序對標注后的舌圖像隨機進行旋轉、平移、縮放、添加噪聲等一系列預處理操作，將原始250張帶標簽的舌圖像擴展到3000張；

步驟3:構建舌圖像分割模型

首先對輸入舌圖像進行主干特征提取，獲得共享特征層，接著特征金字塔網絡對共享特征層進行上采樣、組合提取有效的特征層，在此獲得的有效特征層用來構造ROI特征金字塔，進行信息損失區域的檢測和舌圖像的由粗到細的分割，包括從主干特征提取、特征金字塔的構建、信息損失區域檢測和舌圖像的分割四個方面；

3.1 主干特征提取

使用ResNet101作為主干特征提取，ResNet101主要包含：Conv Block和IdentityBlock兩個塊，其中Conv Block殘差邊有卷積，輸入和輸出的維度是不一樣的，它的作用是改變網絡的維度；Identity Block輸入維度和輸出維度相同，可以串聯，用于加深網絡的；

輸入舌圖像尺寸為（1024,1024,3），經過ResNet101兩個塊的處理，舌圖像的維度發生改變并串聯，長和寬不斷的進行壓縮，獲得多個共享特征層，可以加深網絡深度，提高舌體檢測效果；用C2表示舌圖像在主干特征提取中長和寬壓縮了2次的共享特征層，尺寸為（256,256,256）；C3表示長和寬壓縮了3次的共享特征層，尺寸為（128, 128,512）；C4表示長和寬壓縮了4次的共享特征層，尺寸為（64, 64,1024）；C5表示長和寬壓縮了5次的共享特征層，尺寸為（32, 32,2048）；

3.2 特征金字塔FPN的構建

對在3.1中經過特征提取網絡獲得的共享特征層C5進行卷積、上采樣，上采樣的結果與對應尺寸的共享特征層C4進行融合，獲得有效特征層P4，以此類推，其它特征層也進行類似的卷積、上采樣、融合，共獲得P1-P6共6個有效特征層；

提取到的有效特征層P2-P5一部分作為區域生成網絡的有效特征層，通過建議框的獲取，生成粗略的分割結果，建議框是對物體初步篩選的結果，代表圖像中那些可能存在舌體的區域，其首先會對resize后的局部特征層進行四次3x3的256通道的卷積，再進行一次反卷積，再進行一次通道數為2的卷積，最終結果代表每一個像素點的類別，是屬于舌體區域還是背景區域；

一部分有效特征層進入到ROI Align層進行ROI特征金字塔的構建，作為后續四叉樹的輸入，實現高精度的舌圖像分割，ROI特征金字塔構建時主要在特征金字塔的三個層級上，ROI大小依次為{28,56,112}，將作為四叉樹的輸入，預測高精度的實例分割掩碼；

3.3構建四叉樹并進行信息損失區域檢測

構造由不同層級信息損失結點構成的四叉樹，這些節點都來自于步驟3.2中的ROI特征金字塔，把來自分辨率28×28的ROI特征的信息損失結點作為根節點，從上到下在其相鄰的分辨率56×56的ROI中中擴展四個對應子結點，以此類推，將預測為信息損失結點的像素點向上層進一步分解，構建一個多層次的四叉樹，一方面可以減少計算量，另一方面隨著四叉樹變深，高層ROI具有更高的分辨率和更多的舌體信息，能夠使舌體預測逐漸精細化；

信息損失區域的檢測遵循由低到高的級聯設計，為了檢測ROI金字塔上的不同層級上信息損失結點，首先將分辨率28×28的ROI特征和初始的舌體mask預測作為輸入，采用一個全卷積網絡進行四個3×3卷積來預測四叉樹的根結點，這樣每個根結點就會分解到臨近更高ROI層對應的4個子結點，對于高層的ROI特征，繼續對上一層損失區域檢測的mask做上采樣，然后與ROI特征拼接組合，并使用單個1×1卷積層預測更精細的信息損失結點，以保持檢測模塊的輕量化；

3.4 設計基于Transformer的舌圖像分割網絡

基于Transformer的分割網絡主要包含三個模塊：節點編碼器、序列編碼器和像素解碼器；選取四叉樹的三個層級信息損結點作為無序序列輸入，假設特征層的高是H，寬是W，N是結點個數，C 是特征通道維度，形狀為 C × N，由于信息損失區域高度稀疏，也就是N 遠小于 HW，因此，僅將ROI金字塔上多層且稀疏分布的信息損失結點作為輸入，并預測每個點相應的分割標簽；

為了豐富每個信息損失結點的特征表示，結點編碼器將使用從特征金字塔的相應位置和層級提取的細粒度深度特征，初始檢測器的粗略掩碼預測所提供高層的語義信息，ROI金字塔的局部特征拼接后與位置向量相加等幾個方向對四叉樹中每個結點，使用從 3×3 鄰域中提取的特征，再經全連接層壓縮到原特征維度，得到編碼后的結點，這樣能夠捕捉舌體的局部形狀，更好的定位舌體邊緣；

四叉樹中結點經結點編碼器編碼后，為了實現點之間的互相連通，序列編碼器中的多頭注意力模塊會對輸入序列進行點之間的特征融合及更新，序列編碼器的每一層都由多頭自注意力模塊和全連接的前饋網絡組成，為了給輸入序列補充足夠的前景和背景信息，還將ROI金字塔中最低層大小為14x14的特征點輸入；

最后，由一個具有簡單的兩層多層感知機的像素解碼器，對序列編碼器編碼之后的結點進行解碼，預測每個點是否屬于舌體，進而完成舌圖像分割；

步驟4：訓練并測試舌圖像分割模型

基于步驟3.3中所構建的四叉樹，在訓練過程中，將隨機排列每個待分割舌圖像的信息損失區域的順序，并保證每個待分割舌圖像具有相同的序列長度；

在訓練期間，使用端到端的方式，采用多任務損失函數訓練分割模型，如下所示：

L=λ₁L_Detect+ λ₂L_Coarse+ λ₃ L_Refine + λ₄L_Inc

L_Refine是對信息損失區域的預測結果與其真實結果之間的損失細化，二分類交叉損失函數L_Inc主要用于檢測信息損失區域，檢測損失參數L_Detect主要包括前期基礎分割的損失，L_Coarse表示初始在構建四叉樹之前所做的粗分割預測的損失，參數λ_{1,2,3,4}的權重分別為{1.0，1.0，1.0，1.0，0.5}；

在測試過程中，首先使用四叉樹識別信息損失區域，然后使用步驟3.4所構建的舌圖像分割模型預測四叉樹中所有信息損失區域的精細分割結果，最后，利用四叉樹融合多個特征層級的預測結果，完成整個舌圖像的分割。