[發(fā)明專利]一種基于多任務(wù)學(xué)習(xí)的舌象診斷方法及舌象診斷系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110207965.8
• 申請日: 2021-02-25
• 公開（公告）號: CN113160966B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計）人: 吳學(xué)毅;李承穎
• 申請（專利權(quán)）人: 西安理工大學(xué)
• 主分類號: G16H50/20
• 分類號: G16H50/20;A61B5/00;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 涂秀清

本發(fā)明公開了一種基于多任務(wù)學(xué)習(xí)的舌象診斷方法及舌象診斷系統(tǒng)，包括有移動端app、舌體分割模型及舌象分類模型，本發(fā)明提供的方法可以對舌體區(qū)域進行逐像素點的判別，在不需要先驗知識的情況下實現(xiàn)精確分割舌體，使用多任務(wù)聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)消除舌象分類中的標簽混亂問題，將舌苔、舌質(zhì)區(qū)域和原舌象區(qū)域作為多輸入，輸入的數(shù)據(jù)分別經(jīng)過三次不同卷積尺度的特征提取和特征融合，把舌苔、舌質(zhì)的特征和整個舌象的特征融合起來，加強聯(lián)合特征之后用特征交叉層進行參數(shù)共享以及特征的重組，訓(xùn)練好的舌象分類模型能夠?qū)崿F(xiàn)舌質(zhì)和苔質(zhì)的同時分類，與單任務(wù)神經(jīng)網(wǎng)絡(luò)相比，該方法有著省時、節(jié)省計算量并且能高效識別舌象的優(yōu)點。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機處理圖像技術(shù)技術(shù)領(lǐng)域，涉及一種基于多任務(wù)學(xué)習(xí)的?舌象診斷方法，還涉及該方法使用的一種基于多任務(wù)學(xué)習(xí)的舌象診斷系統(tǒng)。

背景技術(shù)

傳統(tǒng)舌診主要通過醫(yī)生肉眼來觀察舌象，依據(jù)個人經(jīng)驗知識進行診斷，?存在對醫(yī)生的主觀依賴性較強的缺點，其診斷結(jié)果會受到醫(yī)生的知識水平、?思維模式和診斷技術(shù)的限制。以上因素會導(dǎo)致舌診結(jié)果不準確，可重復(fù)性較?差，不利于復(fù)診的信息參考也不利于舌診相關(guān)技術(shù)的發(fā)展。

目前舌診的客觀化和標準化研究仍然存在很多問題：比如使用傳統(tǒng)圖像?處理對舌象進行分割的效果并不好，而將深度學(xué)習(xí)引入到舌象分割中，可以?對舌體區(qū)域進行逐像素點的判別，實現(xiàn)精確分割；再比如對于舌象分類，由?于舌象屬于多標簽數(shù)據(jù)，使用目前的大多數(shù)神經(jīng)網(wǎng)絡(luò)進行分類的話會導(dǎo)致訓(xùn)?練時出現(xiàn)歧義性問題，而多任務(wù)聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)可以消除舌象分類中的標簽混?亂問題，實現(xiàn)舌象的準確和高效識別。

發(fā)明內(nèi)容

本發(fā)明的第一個目的是提供一種基于多任務(wù)學(xué)習(xí)的舌象診斷方法，解決?現(xiàn)有技術(shù)中存在的舌象分割效果不好，舌象分類標簽混亂問題。

本發(fā)明的另一個目的是提供一種基于多任務(wù)學(xué)習(xí)的舌象診斷系統(tǒng)，具有?通過移動端設(shè)備使用戶可方便地參與到智能舌診中，為大眾健康服務(wù)的特?點。

本發(fā)明所采用的第一個技術(shù)方案是，一種基于多任務(wù)學(xué)習(xí)的舌象診斷系?統(tǒng)，包括有移動端app、舌體分割模型及舌象分類模型，所述移動端app包?括有UI界面，所述UI界面設(shè)置有操作按鈕，所述操作按鈕觸發(fā)處理程序，?所訴處理程序包括調(diào)取攝像頭、打開本地相冊、保存圖像和舌象診斷，移動?端app中編寫模型加載接口，所述加載接口接入舌體分割模型及舌象分類模?型，所述舌體分割模型及所述舌象分類模型直接封裝在移動端app。

本發(fā)明所采用的另一個技術(shù)方案是，一種基于多任務(wù)學(xué)習(xí)的舌象診斷方?法，使用上述一種基于多任務(wù)學(xué)習(xí)的舌象診斷系統(tǒng)，具體按照以下步驟實施：

步驟1：在自然光照條件下，用戶進入到舌象診斷系統(tǒng)，根據(jù)提示調(diào)用?移動端的攝像頭對舌體進行拍攝，保存舌體圖像；

步驟2：對步驟1所得的舌體圖像進行歸一化處理為尺寸為300*300*3?的圖像；

步驟3：采用舌體分割模型對舌體進行定位分割，去除舌體外的無用區(qū)?域；

步驟4：分割出舌體后對舌體區(qū)域進行劃分，將舌質(zhì)、舌苔以及原舌象?圖傳給舌象分類模型；

步驟5：利用舌象分類模型對舌質(zhì)、舌苔以及原舌象圖進行測試，計算?出每個分類結(jié)果的概率，取最高概率的分類結(jié)果進行輸出。

本發(fā)明的特點還在于：

舌體分割模型的建立過程具體如下：

步驟1：使用M張舌象原始圖片作為舌象分割數(shù)據(jù)集，對舌象分割數(shù)據(jù)?集使用labelme進行手工標注，將舌象從復(fù)雜的背景中劃分出來；

步驟2：labelme標注結(jié)束后，每張圖像對應(yīng)生成一個json文件，json?文件包含了圖像文件本身以及標注的對象框信息，利用生成的json文件批?量生成mask數(shù)據(jù)集；