[發明專利]一種基于卷積神經網絡的中醫舌色苔色自動分析方法

有效

• 申請號: 201710562784.0
• 申請日: 2017-07-11
• 公開（公告）號: CN107330889B
• 公開（公告）日: 2019-11-15
• 發明（設計）人: 卓力;屈盼玲;盧運西;張輝;張菁;李曉光
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/41;G06T7/90;G06K9/62
• 代理公司: 11203 北京思海天達知識產權代理有限公司
• 代理人: 劉萍<國際申請>=<國際公布>=<進入國

1.一種基于卷積神經網絡的中醫舌色苔色自動分析方法，其特征在于，該方法分為網絡訓練階段和舌色苔色識別階段，包括以下步驟：

步驟1：構建數據集；

使用的數據集通過中醫舌象儀采集得到，并且其舌色與苔色均由專業的中醫醫師進行標定；所使用的訓練樣本為一系列由中醫專家逐塊確定類別的圖像子塊；這些樣本塊是利用滑動窗從舌圖像相應的舌質區域和舌苔區域得到；滑動窗的尺寸為32×32，滑動步長為16；

步驟2：卷積神經網絡的結構設計和網絡訓練；

搭建了卷積神經網絡，并利用步驟1中構建的舌色和苔色數據集分別訓練該網絡，得到舌色分類模型和苔色分類模型；

設計的卷積神經網絡簡稱為TonColorNet,該網絡的輸入為32×32大小的圖像子塊；該網絡包含1個卷積層，一個池化層和3個全連接層；卷積層后面連接一個激勵層和一個局部響應歸一化層，前兩層全連接層的輸出均連接一個激勵層，并采用Dropout以0.5的概率將每個隱層神經元的輸出設置為零；卷積層采用7×7大小的卷積核，步長為1，輸出32個特征圖；池化層采用2×2尺寸大小并且步長為1的最大池化；前兩層全連接層的神經元個數分別為100和50，最后一層全連接層的神經元個數為舌色或苔色的類別；激勵層采用修正線性單元ReLU作為激活函數；

步驟3：對待分析的舌圖像進行舌色苔色的自動識別；

步驟3.1：對待分析的舌圖像進行舌色和苔色區域劃分，分別得到舌質區域和舌苔區域；

步驟3.2：在步驟3.1得到的舌質區域和舌苔區域上，通過滑動窗分別得到舌質圖像子塊和舌苔圖像子塊；

步驟3.3：利用步驟2訓練得到的舌色分類模型和苔色分類模型分別對相應的圖像子塊進行分類；

步驟3.4：通過統計決策的方法對分類結果進行綜合，得到整幅舌圖像的舌色和苔色類別；

具體為：

采用如下的決策公式進行判決：

ρ_i＝n_i·w_i (1)

其中，ρ_i為第i類顏色的決策值，n_i為分類結果中第i類顏色出現的次數，w_i為第i類顏色的權重，其定義如下：

其中，M為樣本庫中的訓練樣本總數，M_i為第i類顏色在樣本庫中的樣本總數；在得到各類的決策值后，比較它們的大小，將其中決策值最大的顏色判定為待分析舌象舌色或苔色的顏色類別。

2.根據權利要求1所述方法，其特征在于，

步驟1中，舌色分為淡、淡紅、紅、暗紅、絳紅、暗紫，共6類；苔色分為薄白苔、白苔、白厚苔、薄黃苔、黃苔、黃厚苔、灰苔、褐苔、黑苔，共9類。

3.根據權利要求1所述方法，其特征在于，

使用構建的舌色數據集和苔色數據集分別訓練TonColorNet；訓練時，網絡參數采用隨機初始化，損失函數設為softmax loss，利用隨機梯度下降算法方法進行網絡訓練，分別得到舌色分類模型和苔色分類模型。

4.根據權利要求1所述方法，其特征在于，

步驟3中對待分析的舌圖像進行舌色苔色的自動識別具體如下：

步驟3.1：對待分析的舌圖像進行舌色和苔色區域劃分，分別得到舌質區域和舌苔區域；通過舌體分割、舌面區域劃分以及苔質分離實現舌色苔色的區域劃分；各個步驟的相關描述如下：

(1)舌體分割

采用深度學習方法實現舌體分割；首先，手工標注舌圖像的像素，將舌圖像分為舌體區域和背景區域，得到舌圖像的標簽；然后利用舌圖像和其相應的標簽訓練SegNet網絡，得到用于舌體分割的分割模型；最后利用該分割模型實現舌體分割；

(2)舌面區域劃分

完成舌體區域的分割之后，根據中醫專家的舌診習慣將舌面劃分為5個區域，分別為：舌根、舌中、舌尖、舌左側和舌右側；通常情況，根據舌質和舌苔分布區域的不同，中醫通過觀察舌兩側和舌尖對患者的舌質顏色進行判斷，在舌中和舌根處觀察舌苔的顏色；

(3)苔質分離

完成舌面區域的5區劃分后，將分割后的舌圖像從RGB顏色空間轉換到HSV顏色空間，并選取飽和度S分量構成S圖；然后，對S圖做直方圖均衡，并對S圖的像素值取反；最后，利用K均值聚類實現苔質分離；

將經過苔質分離確定的舌質區域作為最終的舌質區域，而將“舌面區域劃分”中得到的舌中和舌根區域作為舌苔區域，分別用于后續的處理；

步驟3.2：在步驟3.1得到的舌質區域和舌苔區域上，通過滑動窗分別得到尺寸為32×32的舌質圖像子塊和舌苔圖像子塊；

步驟3.3：利用步驟2訓練得到的舌色分類模型和苔色分類模型分別對相應的圖像子塊進行分類，得到舌質圖像子塊和舌苔子塊的分類；

步驟3.4：通過統計決策的方法對各個子塊的分類結果進行綜合，得到整幅舌圖像的舌色和苔色類別；

采用如下的決策公式進行判決：

ρ_i＝n_i·w_i (1)

其中，ρ_i為第i類顏色的決策值，n_i為分類結果中第i類顏色出現的次數，w_i為第i類顏色的權重，其定義如下：

其中，M為樣本庫中的訓練樣本總數，M_i為第i類顏色在樣本庫中的樣本總數；在得到各類的決策值后，比較它們的大小，將其中決策值最大的顏色判定為待分析舌象舌色或苔色的顏色類別。