[發明專利]一種智能中醫目診圖像處理方法及裝置

有效

• 申請號: 201910601456.6
• 申請日: 2019-07-04
• 公開（公告）號: CN110335266B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 馮躍;徐紅;林卓勝;梁淑芬;余義斌;岳洪偉;李澄非
• 申請（專利權）人: 五邑大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T17/00;G06T7/12;G06T7/168;G06T7/277;G06T7/269;G06V10/764
• 代理公司: 廣州新諾專利商標事務所有限公司 44100
• 代理人: 李德魁

1.一種智能中醫目診圖像處理方法，其特征在于，包括：

獲取使用者的眼部視頻圖像，其中，使用者的眼部視線在眼部視頻圖像的獲取過程中跟隨顯示界面上預設小球圖形移動；

按照預設的采集周期從所述眼部視頻圖像中采集眼部區域圖像以構建眼部三維模型；

利用DLIB庫提取每幀所述眼部區域圖像的眼部關鍵點，以采用HOUGH變換算法定位和分割出其眼部五輪區域，并提取所述眼部五輪區域的五色特征并轉換為目色特征；所述五色特征用于指示中醫學定義的人體體表病色中青、紅、黃、白、黑中的一種，所述目色特征用于指示所述眼部五輪區域所呈現出的病癥等級；

采用LK光流法和卡爾曼濾波算法對所述眼部視頻圖像中的連續兩幀眼部圖像進行跟蹤，以檢測和提取所述眼部視頻圖像中每幀眼部圖像的眼瞼特征點、眼角特征點和眼球特征點；

根據所述眼部視頻圖像中每幀眼部圖像的眼瞼特征點、眼角特征點和眼球特征點，確定每個采集周期內使用者的眼睛平均閉眼速度、跟隨角速度誤差和眼球移動幅度并送入預設的第一SVM多分類器確定神態特征；所述跟隨角速度誤差用于指示眼球跟隨預設小球圖形時產生的角速度誤差，所述神態特征用于指示眼睛平均閉眼速度、跟隨角速度誤差和眼球移動幅度所呈現出的病癥等級；

將所述目色特征和所述神態特征送入預設的第二SVM分類器以進行目診病癥狀態分類并輸出至預設的目診數據庫；

所述每個采集周期內使用者的跟隨角速度誤差通過如下步驟確定：

當所述每個采集周期結束時，獲取結束幀眼部圖像的眼球特征點；

根據所述結束幀眼部圖像的眼球特征點和所述眼部三維模型確定其眼睛視線信息，所述眼睛視線信息用于指示所述結束幀眼部圖像的眼部特征點在所述眼部三維模型中與預設小球圖像之間的位置信息；

根據所述眼睛視線信息計算眼睛跟隨所述預設小球圖形的眼睛跟隨角速度，所述眼睛跟隨角速度用于指示眼睛視線與所述預設小球圖像之間夾角與跟隨時間的比值；

根據所述眼睛視線信息的初始值與所述預設小球圖形當前位置之間的夾角和所述跟隨時間，計算平均跟隨角速度；

計算所述眼睛跟隨角速度與所述平均跟隨角速度之間的差值，得到當前采集周期內使用者的跟隨角速度誤差。

2.如權利要求1所述的智能中醫目診圖像處理方法，其特征在于，獲取使用者的眼部視頻圖像包括如下步驟：

通過高分辨率攝像機組成的雙目相機獲取使用者的眼部視頻圖像；

獲取使用者的眼部區域圖像包括如下步驟：

對所述眼部視頻圖像進行預處理，所述預處理包括圖像增強處理和圖像濾波處理；

采用HAAR特征及ADABOOST算法對預處理后的眼部視頻圖像進行眼部檢測，以得到眼部區域圖像。

3.如權利要求2所述的智能中醫目診圖像處理方法，其特征在于，所述眼部三維模型通過如下步驟建立：

采用相機標定法計算所述高分辨率攝像機組成的雙目相機內參數和外參數；

根據所述內參數、所述外參數和世界坐標系中的定標點建立所述雙目相機對應的雙目模型相機之間的位置關系，得到所述雙目模型相機的投影矩陣；

對每幀所述眼部區域圖像進行特征點提取并進行特征匹配，以建立眼部區域圖像匹配點對集；

根據所述投影矩陣和所述眼部區域圖像匹配點對集進行三維重建，得到眼部三維模型。

4.如權利要求1所述的智能中醫目診圖像處理方法，其特征在于，所述眼部關鍵點包括眉毛關鍵點、上下眼瞼關鍵點和內外眼角關鍵點，通過如下步驟確定所述眼部五輪區域：

根據每幀所述眼部區域圖像的眉毛關鍵點、上下眼瞼關鍵點和內外眼角關鍵點定位所述眼部區域圖像中的眼角區域、眼瞼區域、眼仁區域、眼白區域和瞳孔區域；

采用HOUGH變換分割出所述眼部區域圖像中的眼仁區域、眼白區域和瞳孔區域，以形成眼部五輪區域。

5.如權利要求4所述的智能中醫目診圖像處理方法，其特征在于，通過如下步驟提取所述眼部五輪區域的五色特征：

根據所述眼部五輪區域中每個區域各個像素的R分量、G分量、B分量計算各個像素的RGB平均值；

根據所述各個像素的RGB平均值計算所述每個區域中的紅色比例、青色比例、黃色比例、白色比例和黑色比例，以確定比例最大的顏色為所述每個區域的五色特征。