[發明專利]基于計算機視覺的舌裂紋形狀識別方法及識別系統

在審

• 申請號: 202110512065.4
• 申請日: 2021-05-11
• 公開（公告）號: CN113177499A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 顏仕星;郭峰;何海洋;李曉霞;李春清
• 申請（專利權）人: 上海道生醫療科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/34;G06K9/40;G06K9/62;G06N3/04;G16H20/90;G16H50/20
• 代理公司: 上海雙霆知識產權代理事務所(普通合伙) 31415
• 代理人: 張驥

本發明公開了一種基于計算機視覺的舌裂紋形狀識別方法，包括以下步驟：步驟1，舌裂紋的檢測和標注；步驟2，舌裂紋的形狀識別和標注。本發明將深度學習與傳統圖像處理方法有機地融合在一起，能夠提高舌裂紋特征提取和識別的精確度，能夠實現舌裂紋的客觀評價，填補了現有技術僅僅提取裂紋特征而無法實現舌裂紋客觀評價的空缺。本發明還公開了一種基于計算機視覺的舌裂紋形狀識別系統。

技術領域

本發明涉及一種圖像處理方法，具體涉及一種基于計算機視覺的舌裂紋形狀識別方法。本發明還涉及一種基于計算機視覺的舌裂紋形狀識別系統。

背景技術

中醫舌診是一種通過觀察舌體的生理與病理學形態來發現人體臟腑病理生理變化的診察方法。醫生通過對舌象的觀察，能夠對患者的病情作出相應的診斷和評估，在傳統中醫學中具有重要的價值。經過長期的臨床實踐，證明舌診能夠準確地辨別出病變部位和疾病的嚴重程度。而舌象中的舌裂紋是舌診中的重要組成部分，舌裂紋的有無以及舌裂紋的形狀能夠反映人體維生素的缺乏情況和消化系統的健康情況，舌裂紋種類大致可以分為縱形、橫形、爻字形，以及輻射狀、腦回狀、鵝卵石狀等。中醫已經獲得舌裂紋的種類與人體的健康狀況的關系，所以明確辨別出舌裂紋的種類，對中醫問診有極大好處。

目前，有關舌裂紋的研究方法可分成兩大類。第一類方法是傳統圖像處理技術，具體又分為兩種，一種是基于舌圖像的灰度、色彩信息對舌裂紋進行閾值分割，但并未考慮舌裂紋特征，因而難以精確、完整地分割出舌裂紋；另一種是基于線偵測方法對舌裂紋進行分割，還可以分成3個小類，即基于輪廓的分割方法、基于中心線的分割方法以及基于區域的分割方法。雖然基于線偵測的方法考慮了舌裂紋的紋理特征，但都存在一定程度的不足，例如：基于輪廓的分割方法采用的是一階導數，對噪聲敏感，而且在實際應用中往往得不到閉合的輪廓；基于中心線的分割方法一般采用的是二階導數，同樣對噪聲敏感，而且中心線位置的提取往往存在較大誤差；而基于區域的分割方法往往會將舌苔上的粗紋理、偽裂紋也分割出來，需要手動去除多余紋理、才能分割出裂紋。

第二類方法是基于深度學習的技術，但是現有基于卷積神經網絡的舌裂紋特征提取技術，過多依賴于卷積神經網絡的設計和訓練，往往忽略了傳統圖像處理技術在舌裂紋中的廣泛應用。因此所獲得的舌裂紋特征對于中醫問診很難有準確的參考價值。

發明內容

本發明所要解決的技術問題是提供一種基于計算機視覺的舌裂紋形狀識別方法，它可以實現對舌裂紋的形狀進行客觀評價。

為解決上述技術問題，本發明基于計算機視覺的舌裂紋形狀識別方法的技術解決方案為，包括以下步驟：

步驟1，舌裂紋的檢測和標注；

檢測舌裂紋，對輸入舌圖中的裂紋進行初步特征提取，獲取并標注局部裂紋的邊界框，得到無標注局部裂紋圖；

在另一實施例中，進一步地，所述步驟1包括以下步驟：

步驟1.1，通過舌圖采集設備采集不少于N萬張原始舌圖，采用人工標注的方式在原始舌圖上標注出裂紋的邊界框信息，該裂紋為原始裂紋；將標注有原始裂紋邊界框信息的標注舌圖文件進行保存；將標注舌圖隨機劃分為裂紋檢測訓練集和裂紋檢測驗證集；再采集不少于M萬張無標注的原始舌圖；其中，M＞N；

步驟1.2，搭建基于深度學習的裂紋檢測訓練模型；

在另一實施例中，所述步驟1.2中的裂紋檢測訓練模型采用efficientdet結構，并使用bifpn搭建多尺度特征金字塔。

步驟1.3，對所述裂紋檢測訓練模型進行模型訓練，得到訓練完成的裂紋檢測模型；

進一步地，所述步驟1.3的模型訓練包括以下步驟：

步驟1.3.1，利用所述步驟1.1所得的裂紋檢測訓練集，對所述步驟1.2搭建的基于深度學習的裂紋檢測訓練模型進行訓練，并利用步驟1.1所得的裂紋檢測驗證集進行驗證，得到檢測模型；