[發(fā)明專利]一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的舌象分類方法

有效

• 申請?zhí)枺?/td>: 201711026169.4
• 申請日: 2017-10-27
• 公開（公告）號: CN107977671B
• 公開（公告）日: 2021-10-26
• 發(fā)明（設(shè)計）人: 王麗冉;湯一平;何霞;陳朋;袁公萍;金宇杰
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/32;G06N3/08
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的舌象分類方法，包括對采集到的舌象進(jìn)行一系列預(yù)處理的圖像操作、用于舌整體特征提取的深度卷積神經(jīng)網(wǎng)絡(luò)、用于對舌面標(biāo)簽進(jìn)行檢測的感興趣區(qū)域定位網(wǎng)絡(luò)、用于深度學(xué)習(xí)和訓(xùn)練識別的多任務(wù)深度卷積神經(jīng)網(wǎng)絡(luò)，完成對舌象舌色、苔色、苔質(zhì)的厚薄、腐膩、潤燥屬性的標(biāo)簽分類。本發(fā)明有效的解決了現(xiàn)有方法不能對舌象舌色、苔色、苔質(zhì)的厚薄、腐膩、潤燥等多個屬性進(jìn)行同時識別的多分類問題。

技術(shù)領(lǐng)域

本發(fā)明涉及一種分析方法，具體涉及中醫(yī)舌診、移動互聯(lián)網(wǎng)、數(shù)據(jù)庫管理、計算機(jī)視覺、數(shù)字圖像處理、模式識別、深度學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)等技術(shù)在舌象自動分析領(lǐng)域的應(yīng)用。

背景技術(shù)

舌診是中醫(yī)臨床最直接、最基本的診斷方法之一，自古以來就受到眾多醫(yī)家的推崇，廣泛應(yīng)用于臨床實踐。舌象包含著人體豐富的生理和病理信息，通過對患者舌面苔跡、舌質(zhì)相關(guān)屬性,包括顏色、形態(tài)等進(jìn)行觀察,從而判斷疾病所在,進(jìn)行辨證論治，這對中醫(yī)用藥及判斷疾病有重要的參考意義。但長期以來，由于舌診結(jié)果完全依賴于醫(yī)生的主觀判斷，診斷信息的正確與否受到醫(yī)生的經(jīng)驗積累、環(huán)境因素的影響，導(dǎo)致舌診缺乏客觀的診斷方法與標(biāo)準(zhǔn)，且大多數(shù)舌象診斷經(jīng)驗不易于傳授和保存，在一定程度上阻礙了舌診的發(fā)展。因此，以中醫(yī)理論為基礎(chǔ)，將中醫(yī)診療與圖像分析技術(shù)相結(jié)合，對舌象進(jìn)行定量分析，實現(xiàn)舌診的客觀化、標(biāo)準(zhǔn)化和定量化成為中醫(yī)舌診發(fā)展的必經(jīng)之路。

顏色是舌診中最重要的一個特征，在舌圖像的分析過程中，舌色和苔色提供了大量有參考價值的診斷信息，因此關(guān)于舌像顏色的研究較多。除舌色和苔色外，紋理的識別也對后續(xù)的診斷具有重要的意義。近幾年，也有些研究者關(guān)注舌面裂紋和齒痕，苔質(zhì)厚薄、腐膩等的識別和分析。一張舌象同時包含顏色、紋理等多種屬性信息，顏色可細(xì)分為舌色、苔色，紋理可細(xì)分為裂紋、齒痕等。因此舌象屬于多標(biāo)簽數(shù)據(jù)，舌象分類屬于多分類問題。

(1)舌質(zhì)的顏色。淡紅舌反映出人體氣血調(diào)和，心氣充足，多見于正常健康人，也見于外感病初期，病情較輕。淡白舌多見于氣虛證、血虛證和實寒證。較正常舌色紅，呈鮮紅色謂之紅舌。舌色較紅舌顏色更深或暗紅，謂之絳舌。二者皆主熱證。全舌均勻呈現(xiàn)紫色，或局部有青紫色斑點，謂之青舌，主氣血運行不暢，癖滯。舌質(zhì)色紫者，謂之紫舌，由氣血壅滯，運行不暢所致。

(2)舌苔的顏色。白苔為正常舌苔，病多主寒證，表證，濕證。黃苔，有淡黃、深黃、焦黃之分，無論哪種都主熱證，里證。苔色愈黃，說明熱邪愈甚。淡黃苔為輕熱，深黃苔為熱甚，焦黃苔為熱極。灰黑苔多由白苔或黃苔轉(zhuǎn)化而來。黑苔多在久病或病情較重時才出現(xiàn)，主熱極或寒盛。但無論寒熱均屬重證，黑色越深，病情越重。

(3)舌苔的質(zhì)地。苔質(zhì)顆粒細(xì)膩致密，均勻成片，如涂有油膩之狀，緊貼舌面，揩之不去，刮之不脫，稱為膩苔。且有粘膩、滑膩、垢膩、燥膩之分。苔質(zhì)顆粒粗大，質(zhì)地疏松，如豆腐渣堆積舌面，揩之不去，稱為腐苔。

(4)舌苔的厚度。舌苔厚與薄以“見底”和“不見底”作為衡量標(biāo)準(zhǔn)，透過舌苔能隱隱見到舌質(zhì)稱為薄苔，也叫見底苔。不能透過舌苔見到舌質(zhì)者，稱為厚苔，又叫不見底苔。舌苔厚薄反映邪正的盛衰和病位的深淺，主表證和里證。

(5)舌形。包括老嫩、胖瘦、腫脹、點刺、裂紋等。

以上各個舌象特征都從不同的側(cè)面反映了人體生理與病理的變化。中醫(yī)在觀察舌象時，往往是對多個特征進(jìn)行綜合處理和分析然后得到相應(yīng)的結(jié)論。

申請?zhí)枮镃N02103795.7的中國專利申請公開了一種基于多類支持向量機(jī)的中醫(yī)舌色、苔色、舌苔厚度分析方法。該方法是由數(shù)碼相機(jī)進(jìn)行圖象采集，并通過USB接口將圖象輸人到計算機(jī)處理器中，在處理器中將舌體區(qū)域從舌圖象中分割出來，還依次包括下述步驟：在進(jìn)行分級聚類分析生成聚類樹并調(diào)整的基礎(chǔ)上，采用基于聚類樹的支持向量機(jī)(CTSYM)方法進(jìn)行舌體區(qū)域像素識別，并把舌體區(qū)像素識別的類別數(shù)設(shè)為15種；將舌面分為五個區(qū)域，統(tǒng)計各區(qū)中數(shù)量最多的像素類別，及各種類型的象素數(shù)；進(jìn)行舌色描述；進(jìn)行舌苔色描述；進(jìn)行舌苔厚定量分析和描述；最后采用文字和偽彩色圖顯示分析結(jié)果。