[發明專利]基于計算機視覺的舌裂紋形狀識別方法及識別系統

在審

• 申請號: 202110512065.4
• 申請日: 2021-05-11
• 公開（公告）號: CN113177499A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 顏仕星;郭峰;何海洋;李曉霞;李春清
• 申請（專利權）人: 上海道生醫療科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/34;G06K9/40;G06K9/62;G06N3/04;G16H20/90;G16H50/20
• 代理公司: 上海雙霆知識產權代理事務所(普通合伙) 31415
• 代理人: 張驥

1.一種基于計算機視覺的舌裂紋形狀識別方法，其特征在于，包括以下步驟：

步驟1，舌裂紋的檢測和標注；

檢測舌裂紋，對輸入舌圖中的裂紋進行初步特征提取，獲取并標注局部裂紋的邊界框，得到無標注局部裂紋圖；

步驟2，舌裂紋的形狀識別和標注；

步驟2.1，對所述無標注局部裂紋圖進行人工標注，標注出裂紋的形狀類別信息，并將標注后的局部裂紋圖隨機劃分為形狀識別訓練集和形狀識別驗證集；

步驟2.2，搭建基于深度學習的裂紋形狀分類訓練模型；

步驟2.3，對所述裂紋形狀分類訓練模型進行模型訓練，得到訓練完成的裂紋形狀分類模型；

步驟2.4，利用訓練完成的裂紋形狀分類模型對無標注局部裂紋圖進行預測，得到最終的裂紋形狀類別。

2.根據權利要求1所述的基于計算機視覺的舌裂紋形狀識別方法，其特征在于，所述步驟1包括以下步驟：

步驟1.1，通過舌圖采集設備采集不少于N萬張原始舌圖，采用人工標注的方式在原始舌圖上標注出裂紋的邊界框信息，該裂紋為原始裂紋；將標注有原始裂紋邊界框信息的標注舌圖文件進行保存；將標注舌圖隨機劃分為裂紋檢測訓練集和裂紋檢測驗證集；再采集不少于M萬張無標注的原始舌圖；其中，M＞N；

步驟1.2，搭建基于深度學習的裂紋檢測訓練模型；

步驟1.3，對所述裂紋檢測訓練模型進行模型訓練，得到訓練完成的裂紋檢測模型；

所述步驟1.3的模型訓練包括以下步驟：

步驟1.3.1，利用所述步驟1.1所得的裂紋檢測訓練集，對所述步驟1.2搭建的基于深度學習的裂紋檢測訓練模型進行訓練，并利用步驟1.1所得的裂紋檢測驗證集進行驗證，得到檢測模型；

步驟1.3.2，利用所述步驟1.3.1所得到的檢測模型，對所述M萬張無標注的原始舌圖中的每一張進行預測，將預測出的舌裂紋邊界框按照概率值進行排序，取概率值大于0.9±0.05的裂紋邊界框，刪除概率值小于0.9±0.05的邊界框，得到預測文件并與所述步驟1.1所得的裂紋檢測訓練集進行合并，得到新的裂紋檢測訓練集；

步驟1.3.3，利用所述步驟1.3.2所得的新的裂紋檢測訓練集，對所述步驟1.3.1所得的檢測模型再次進行訓練，并利用步驟1.1所得的裂紋檢測驗證集進行驗證，得到訓練完成的裂紋檢測模型；

步驟1.4，利用訓練完成的裂紋檢測模型，檢測局部裂紋邊界框；

步驟1.5，根據步驟1.4所檢測的局部裂紋邊界框，對M萬張無標注的原始舌圖進行剪裁，剪裁出局部裂紋圖，得到所述無標注局部裂紋圖。

3.根據權利要求2所述的基于計算機視覺的舌裂紋形狀識別方法，其特征在于，所述步驟1.3.1和/或所述步驟1.3.3的訓練過程中采用ciouloss作為裂紋邊界框回歸損失函數；所述ciou裂紋邊界框回歸損失函數的公式為：

其中，ρ(.)表示歐式距離，

b表示預測框B的中心點，

b^gt表示真實框B^gt的中心點，

c表示預測框B和真實框B^gt的最小外接矩形的對角線距離，

α是用于平衡損失函數的參數，

ν是用來衡量長寬比一致性的參數。

4.根據權利要求3所述的基于計算機視覺的舌裂紋形狀識別方法，其特征在于，所述步驟1.3.1中的參數α為：

其中，IoU表示任意兩個裂紋邊界框B1、B2的重疊程度，

所述步驟1.3.1中的參數ν為：

其中，w^gt表示真實標注的裂紋邊界框的寬度，

h^gt表示真實標注的裂紋邊界框的高度，

w表示預測的裂紋邊界框的寬度，

h表示預測的裂紋邊界框的高度。