[發明專利]基于強監督算法和深度學習網絡的舌象數據分析方法

在審

• 申請號: 201910944601.0
• 申請日: 2019-09-30
• 公開（公告）號: CN110766665A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 徐興亮
• 申請（專利權）人: 天聚星信息科技(深圳)有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G16H20/00;G16H40/67;G16H50/20;A61B5/00
• 代理公司: 12201 天津市北洋有限責任專利代理事務所
• 代理人: 劉子文

本發明公開一種基于強監督算法和深度學習網絡的舌象數據分析方法，本方法將YOLO網絡和Bilinear網絡技術結合在一起，通過YOLO網絡預測出舌頭區域的邊界框，然后將YOLO網絡輸出的圖像使用Bilinear網絡進行處理，輸出對該舌象特征的預測，最后將Bilinear網絡移植到手機(Iphone與Android)和服務器中，根據Bilinear網絡預測的特征與內建的病征數據庫進行對比，由此完成對該舌象特征與病征的判斷，最終在用戶終端提出對該舌象患者的健康建議以及提出意見。結果將提供用戶一定的健康咨詢效果，也能夠在很大程度上幫助醫生了解和分析患者情況，同樣可以在患者以后的生活中進行應用和指導。

技術領域

本發明涉及基于強監督算法之深度學習網絡領域，特別是涉及一種基于強監督算法和深度學習網絡的舌象數據分析方法。

背景技術

在傳統中醫中，舌診是指通過對人體舌質、舌苔以及舌下脈絡變化的觀察，以了解人體生理功能和病理變化的一種診察方法。中醫舌診通過觀察舌體表面來對患者疾病進行診斷，其中，舌尖對應心肺、舌邊對應肝膽、舌中對應脾胃、舌根對應腎臟。舌質和舌苔是中醫舌診的主要觀察對象，舌質即舌的肌肉脈絡組織，舌苔指舌表面的一層苔狀物。在臨床中，舌質的觀察對象主要為舌神、舌色、舌形、舌態等信息，舌苔的觀察對象主要為苔色、舌苔數量、舌苔厚薄等信息。不同觀察對象依據不同嚴重程度有不同分類情況。

舌象診斷是中醫診斷的重要組成部分，傳統的舌象診斷僅依靠醫生的主觀觀察來得出結論，因人而異、因時而異，缺乏客觀依據，診斷結果會受到主觀因素的影響。并且無法定量的對舌苔和舌質進行分析，診斷結果缺乏說服力。目前，舌象樣本主要通過人工觀察的方式進行采集，這將耗費大量的人力，近年來，人們研制出了不同種類的舌象采集分析儀，包括小型手持舌象分析儀、分布式舌象分析儀、積分球式舌象分析儀等，而當今醫學領域已從不同系統疾病與舌象的關系也進行了大量的探索。

在研究舌象問題中已有針對不同問題的的技術基礎，在舌質和舌苔分類問題上，已有基于多顏色通道的動態閾值算法、基于雙光源的舌質和舌苔分離系統、基于圖像塊的舌質與舌苔圖像塊選取方法以及將深度學習與舌色分類相結合的舌色識別方法，該方法通過對圖像進行預處理和增強創建了舌象數據集，將傳統的網絡參數進行修改用于舌色分類，與傳統的方法相比具有更高的準確率；在齒痕問題上，有通過使用凸包算法來取近似的正常舌體輪廓的方法，基于道格拉斯-普客法的齒痕數量取算法等；針對舌裂紋的提取問題，有基于改進的 Confidence Connected區域生長算子進行舌裂紋取的算法、基于舌裂紋靜態特征識別裂紋舌的方法等；在點刺舌識別的研究中，可通過級聯濾波的方法來識別點刺舌；在舌苔研究中，已有基于神經網絡集成的舌苔自動分類方法，將多個單獨訓練BP神經網絡集成用于舌苔的分類等；在研究舌色問題時，常用的主要有RGB、HSV、CIELab三種顏色空間。在舌象分類的研究中，可從深度卷積神經網絡出發，使用一個特征取框架，約束高離散神經網絡 (constrained high dispersal neural networks,CHDNet)，提取無偏特征，或使用人工神經網絡方法來學習中醫舌象中的抽象概念，使用一種基于概念隊列深度自編碼器(conceptual alignment deep auto-encoder,CADAE)對不同體質的舌象進行分析。

發明內容

本發明的目的是為了克服現有技術中的不足，提供一種基于強監督算法和深度學習網絡的舌象數據分析方法，在一般傳統的人工智能技術中，都是透過強監督的方式來處理圖像的分類，這類型的技術已經非常普遍用于各種的影像識別應用中。而在本發明中將改用通過細粒度分析處理，來達到對于舌象照片學習與分類，來進一步獲得更精細的舌頭分類判斷，并進行區域分類處理，進一步提供建議來協助中醫師進行診療與判斷。

本發明的目的是通過以下技術方案實現的：

權利要求確定后此處完善

與現有技術相比，本發明的技術方案所帶來的有益效果是：