[發明專利]一種基于人工智能的眼瞼運動功能評估系統

有效

• 申請號: 201910704037.5
• 申請日: 2019-07-31
• 公開（公告）號: CN110428908B
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 徐帆;呂健;陳琦;崔凌;陳青;何文靜;唐芬;蔣莉;唐寧寧;陳麗妃;周舟;黃慧
• 申請（專利權）人: 廣西壯族自治區人民醫院
• 主分類號: G16H50/70
• 分類號: G16H50/70;G16H50/20;G06N3/04;G06N3/08;G06K9/00;G06K9/62;A61B3/113
• 代理公司: 南寧東之智專利代理有限公司 45128
• 代理人: 嚴涓逢;汪治興

1.一種基于人工智能的眼瞼運動功能評估系統，其特征在于，包括：

受檢對象獲取模塊：用于從輸入的受檢對象的面部動作視頻中獲得每幀受檢對象的面部特征區域，剪去每幀非所述受檢對象的面部特征區域，獲得只包含所述受檢對象的面部視頻；

眼睛及指定部位定位模塊：用于定位和圖像處理所述面部視頻的眼睛及指定部位，該指定部位有一種或多種對應所述受檢對象的關鍵部位；裁剪生成所述受檢對象的眼睛運動視頻及指定部位聯動視頻；所述指定部位和關鍵部位都包括頭部、鼻部、嘴巴和眉毛；

基于卷積神經網絡的TSN模型：用于處理眼睛運動視頻和指定部位聯動視頻并輸出眼睛及指定部位的動作信號；

概率輸出模塊：將TSN輸出的動作信號作為輸入，用于輸出每幀畫面計算機判斷眼瞼運動異常出現的概率信號；所述眼瞼運動異常出現的概率信號包括眼瞼運動異常時眼睛出現異常動作的概率信號和每個指定部位出現異常聯動動作的概率信號；所述概率輸出模塊輸出眼瞼運動異常出現的概率信號的具體方法為：（1）將TSN模型輸出的動作信號作為輸入，訓練機器學習分類器，結合若干個短片段的類別得分輸出以獲得短片段之間關于類別假設的共識，獲得段共識函數 G，基于這個共識，預測函數 H 預測整段視頻屬于眼睛及指定部位的每個行為類別的概率信號；所述行為類別包括所述受檢對象出現眼瞼運動異常時眼睛出現異常動作的行為類別及每個指定部位出現異常聯動動作的行為類別；（2）輸出眼睛出現異常動作的概率信號和每個指定部位出現異常聯動動作的概率信號；

評估模塊：用于根據眼睛運動出現異常的概率信號、每個指定部位運動出現異常聯動動作的概率信號和眼瞼運動異常概率判斷機制獲得異常等級，判斷所述受檢對象的眼瞼運動異常的嚴重程度；

所述受檢對象獲取模塊包括：

Faster-RCNN神經網絡模型，用于定位所述面部動作視頻中每一幀受檢對象的人臉區域，并將人臉區域逐幀輸入至人臉識別模型；

人臉識別模型，包括左側臉、正臉和右側臉分類模型，用于識別每個人臉區域中不同方位的受檢對象的面部特征；

所述眼睛及指定部位定位模塊包括CPM的CNN結構、PAF的CNN結構和圖像處理模塊。

2.根據權利要求1所述的一種基于人工智能的眼瞼運動功能評估系統，其特征在于：所述面部動作視頻的時長≥5min。

3.根據權利要求1所述的一種基于人工智能的眼瞼運動功能評估系統，其特征在于：所述面部動作視頻為受檢對象的面部位于鏡頭中央的視頻。

4.根據權利要求1所述的一種基于人工智能的眼瞼運動功能評估系統，其特征在于：所述從輸入的受檢對象的面部動作視頻中獲得每幀受檢對象的面部特征區域的具體方法為：

（1）所述面部動作視頻輸入Faster-RCNN神經網絡模型，定位所述面部動作視頻中每一幀受檢對象的人臉區域，并將每一幀的人臉區域輸入至人臉識別模型；

（2）所述人臉識別模型識別每一幀人臉區域中不同方位的所述受檢對象的面部特征；

（3）對面部動作視頻的每幀進行步驟（1）和步驟（2），獲得每幀受檢對象的面部特征區域。

5.根據權利要求1所述的一種基于人工智能的眼瞼運動功能評估系統，其特征在于：所述定位所述面部視頻的指定部位的具體方法為：

（1）通過CPM的CNN結構得到所述面部視頻的眼睛與指定部位的關節點的熱圖來判斷關節點；

（2）通過PAF的CNN結構得到2D的向量幾何來編碼所述面部視頻的指定部位的運動方向，定位出指定部位；

（3）通過圖像處理模塊學習包含眼睛的視頻，定位出眼睛；并截取出所述面部視頻中眼瞼閉合瞬間的圖像，分析該圖像中眼瞼閉合的程度，通過圖片灰度處理技術將其眼瞼部分與瞳孔部分進行處理。