[發(fā)明專(zhuān)利]一種基于信息損失區(qū)域檢測(cè)機(jī)制的舌圖像分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210833515.4
• 申請(qǐng)日: 2022-07-15
• 公開(kāi)（公告）號(hào): CN115147605A
• 公開(kāi)（公告）日: 2022-10-04
• 發(fā)明（設(shè)計(jì)）人: 牛秋月;曹莉;任靖娟;趙春霞;李瑞昌;王曉鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 河南中醫(yī)藥大學(xué)
• 主分類(lèi)號(hào): G06V10/26
• 分類(lèi)號(hào): G06V10/26;G06V10/25;G06V10/52;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 鄭州天陽(yáng)專(zhuān)利事務(wù)所(普通合伙) 41113
• 代理人: 蔡文雅

本發(fā)明涉及基于信息損失區(qū)域檢測(cè)機(jī)制的舌圖像分割方法，可有效解決現(xiàn)有技術(shù)分割出來(lái)的舌圖像邊緣會(huì)變得粗糙的問(wèn)題，其解決的技術(shù)方案是，包括以下步驟：步驟1:收集舌圖像數(shù)據(jù)集；步驟2:舌圖像標(biāo)注與預(yù)處理；步驟3:構(gòu)建舌圖像分割模型；步驟4：訓(xùn)練并測(cè)試舌圖像分割模型；本發(fā)明方法可以有效地提高舌圖像邊緣區(qū)域分割的準(zhǔn)確率，為后續(xù)舌診辯證分析提供有效依據(jù)，是舌圖像分割方法上的創(chuàng)新。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)圖像分割領(lǐng)域，特別是一種基于信息損失區(qū)域檢測(cè)機(jī)制的舌圖像分割方法。

背景技術(shù)

中醫(yī)是中國(guó)的文化智慧，其行之有效的實(shí)踐方法，為中華民族的繁榮昌盛和健康發(fā)展做出了崇高貢獻(xiàn)。中醫(yī)學(xué)主要包括“望、聞、問(wèn)、切”四種診斷方法，其中望診是最有效、最直觀的方法，人體內(nèi)部器官通過(guò)經(jīng)絡(luò)與舌頭相連，臨床醫(yī)生可以通過(guò)觀察患者舌頭的顏色、舌體形態(tài)等特征來(lái)辯證診療，這就是舌診，屬于望診范疇。然而，由于傳統(tǒng)的舌診僅依賴于臨床醫(yī)生的經(jīng)驗(yàn)積累，缺乏客觀評(píng)價(jià)依據(jù)，且不可復(fù)制，因此舌診客觀化是當(dāng)前中醫(yī)藥人工智能領(lǐng)域研究的熱點(diǎn)。舌圖像分割作為舌診智能化的第一步，其分割質(zhì)量將直接影響舌診的客觀化的結(jié)果。

傳統(tǒng)的舌圖像分割主要使用區(qū)域增長(zhǎng)、邊緣檢測(cè)、分水嶺等方法，但這些方法存在易受噪聲的影響、需人工參與等因素影響，無(wú)法取得較好的分割效果。近幾年，隨著深度學(xué)習(xí)的發(fā)展，一些中醫(yī)藥人工智能研究領(lǐng)域的學(xué)者開(kāi)始嘗試將深度學(xué)習(xí)相關(guān)算法應(yīng)用到舌圖像分割中。比如，Lin等人提出基于ResNet端到端神經(jīng)網(wǎng)絡(luò)模型的舌圖像分割方法，Li等人設(shè)計(jì)了一個(gè)基于UNet和遷移學(xué)習(xí)的舌圖像分割框架，Gholami等人使用R-CNN完成舌圖像分割。從以上研究可知，深度學(xué)習(xí)方法在舌圖像分割中展現(xiàn)出極好的性能，得到了廣泛應(yīng)用。

然而，當(dāng)舌部顏色接近鄰近區(qū)域如唇部、口腔內(nèi)部顏色時(shí)，分割出來(lái)的舌圖像邊緣會(huì)變得粗糙，嚴(yán)重制約著臨床醫(yī)生的辯證診療分析。因此需要在現(xiàn)有深度學(xué)習(xí)算法的基礎(chǔ)上，提出一種能夠提高舌圖像邊緣區(qū)域分割精度的方法，以實(shí)現(xiàn)更精確的舌圖像邊緣處理，解決過(guò)分割和欠分割的問(wèn)題。

發(fā)明內(nèi)容

針對(duì)上述情況，為解決現(xiàn)有技術(shù)之缺陷，本發(fā)明之目的就是提供一種基于信息損失區(qū)域檢測(cè)機(jī)制的舌圖像分割方法，可有效解決現(xiàn)有技術(shù)分割出來(lái)的舌圖像邊緣會(huì)變得粗糙的問(wèn)題。

本發(fā)明解決的技術(shù)方案是，該舌圖像分割方法包括以下步驟：

步驟1:收集舌圖像數(shù)據(jù)集

舌圖像分割數(shù)據(jù)集主要用于訓(xùn)練、驗(yàn)證和測(cè)試網(wǎng)絡(luò)模型，為提高網(wǎng)絡(luò)模型的泛化性，數(shù)據(jù)集通過(guò)舌診采集儀器、開(kāi)源數(shù)據(jù)庫(kù)下載和手機(jī)攝像頭拍攝三種方式獲得；

步驟2:舌圖像標(biāo)注與預(yù)處理

為使訓(xùn)練的網(wǎng)絡(luò)模型分割準(zhǔn)確率更好，需先用Labelme圖像標(biāo)注工具對(duì)步驟1收集到的舌像進(jìn)行舌體輪廓標(biāo)注，之后利用數(shù)據(jù)增強(qiáng)程序?qū)?biāo)注后的舌圖像隨機(jī)進(jìn)行旋轉(zhuǎn)、平移、縮放、添加噪聲進(jìn)行預(yù)處理，擴(kuò)充原來(lái)的舌圖像數(shù)據(jù)集；

步驟3:構(gòu)建舌圖像分割模型

現(xiàn)有圖像分割方法在物體邊界或高頻區(qū)域，容易產(chǎn)生錯(cuò)分割問(wèn)題，如果分割過(guò)程中過(guò)分的考慮圖像的高層語(yǔ)義和大分辨率深度特征圖，會(huì)消耗更大的人力和物力。為了解決上述問(wèn)題，本發(fā)明通過(guò)識(shí)別舌圖像分割中容易出錯(cuò)的物體邊界和高頻區(qū)域，來(lái)提高舌圖像分割的準(zhǔn)確率；這些區(qū)域稱之為信息損失區(qū)域，這些區(qū)域雖然只占物體總像素的一少部分，但對(duì)最終的分割結(jié)果至關(guān)重要，因此，本發(fā)明提出了一種基于信息損失區(qū)域檢測(cè)機(jī)制的舌圖像分割主要包括：主干特征提取、構(gòu)建特征金字塔、構(gòu)建四叉樹(shù)和基于Transformer的舌圖像分割四個(gè)步驟：

3.1：主干特征提取

選擇ResNet101作為主干特征提取網(wǎng)絡(luò)，為了防止舌圖像失真和保證分割效果的精確，首先在原舌圖像邊緣加灰條并保證邊長(zhǎng)能夠整除2的6次方，然后傳入到主干特征提取網(wǎng)絡(luò)處理，經(jīng)過(guò)一系列的卷積、標(biāo)準(zhǔn)化和激活函數(shù)之后，舌圖像的長(zhǎng)和寬不斷的進(jìn)行壓縮，獲得多個(gè)共享特征層，也就是相當(dāng)于把舌圖像劃分成多個(gè)網(wǎng)格；

3.2：特征金字塔的構(gòu)建