[發(fā)明專利]一種基于人臉面部肌肉運(yùn)動特征的面部神經(jīng)麻痹疾病檢測方法

在審

• 申請?zhí)枺?/td>: 202011345221.4
• 申請日: 2020-11-25
• 公開（公告）號: CN112465773A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 王堅(jiān);曹智梅
• 申請（專利權(quán)）人: 王堅(jiān)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T17/20;G06T7/73;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于人臉面部肌肉運(yùn)動特征的面部神經(jīng)麻痹疾病檢測方法，其特征在于：含有以下步驟：

步驟1、通過人臉檢測算法獲得相機(jī)視野中人臉的位置，采集圖像數(shù)據(jù)，輸出人臉圖像；

步驟2、根據(jù)人臉圖像重建3D模型；

步驟3、獲取人臉3D模型上相關(guān)肌肉對應(yīng)的網(wǎng)格點(diǎn)的坐標(biāo)；

步驟4、對人臉圖像進(jìn)行角點(diǎn)檢測，獲得肌肉上的角點(diǎn)特征，并根據(jù)角點(diǎn)修正面部肌肉的運(yùn)動特征；

步驟5、為人臉3D mensh的網(wǎng)格點(diǎn)分配權(quán)重；

步驟6、根據(jù)面部肌肉運(yùn)動特征和角點(diǎn)位置的變化特征獲得面部肌肉的運(yùn)動幅度。

2.根據(jù)權(quán)利要求1所述的基于人臉面部肌肉運(yùn)動特征的面部神經(jīng)麻痹疾病檢測方法，其特征在于：所述步驟1中利用手機(jī)的前置相機(jī)采集用戶的圖像數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的基于人臉面部肌肉運(yùn)動特征的面部神經(jīng)麻痹疾病檢測方法，其特征在于：所述步驟2中通過PRNet、VRNet或2DASL深度神經(jīng)網(wǎng)絡(luò)獲得面部的3D模型，通過2DASL深度神經(jīng)獲得3DMM模型的參數(shù)，輸出的參數(shù)作用在該3DMM模型上，使其變形為和圖像中人臉一樣的形狀和紋理。

4.根據(jù)權(quán)利要求1所述的基于人臉面部肌肉運(yùn)動特征的面部神經(jīng)麻痹疾病檢測方法，其特征在于：所述步驟3中從人臉3D mensh上選取分布在雙目下方、鼻子兩側(cè)、兩嘴角周圍和顴骨周圍的所有網(wǎng)格點(diǎn)，其分布在口輪匝肌、咬肌、提上唇肌和頰肌上，通過肌肉上的網(wǎng)格點(diǎn)的位置變化來計(jì)算肌肉的運(yùn)動特征。

5.根據(jù)權(quán)利要求1所述的基于人臉面部肌肉運(yùn)動特征的面部神經(jīng)麻痹疾病檢測方法，其特征在于：所述步驟4含有以下分步驟：

步驟4.1、將角點(diǎn)和3D mensh的網(wǎng)格點(diǎn)相結(jié)合實(shí)現(xiàn)優(yōu)勢互補(bǔ)，將角點(diǎn)的位置融入3Dmensh；

1)人臉3D mensh是和人臉圖像上的人臉對齊后，獲取角點(diǎn)的位置，將該位置反向投影回3D mensh上，獲得角點(diǎn)在3D mensh上對應(yīng)的三維坐標(biāo)P；

2)獲取坐標(biāo)P周圍最近的四個(gè)網(wǎng)格點(diǎn)的位置為，構(gòu)建一個(gè)序列ΔP＝{||PP_i||₂}_{i＝1，2，3，4}＝{||PP₁||₂，||PP₂||₂，||PP₃||₂，||PP₄||₂}，||PP_i||₂表示坐標(biāo)P和坐標(biāo)P_i的歐式距離，i＝1，2，3，4，序列ΔP反映坐標(biāo)P與周圍最近的四個(gè)網(wǎng)格點(diǎn)的歐式距離；

3)構(gòu)建四個(gè)權(quán)重系數(shù)α₁，α₂，α₃，α₄，分別表示四個(gè)網(wǎng)格點(diǎn)對坐標(biāo)位置P的關(guān)注程度，令：i＝1，2，3，4；sum(ΔP)表示對序列ΔP的元素求和，網(wǎng)格點(diǎn)P_i與坐標(biāo)位置P的距離越近，α_i就越大，說明P_i對P的關(guān)注程度越高，并且滿足α₁+α₂+α₃+α₄＝3；

4)對于網(wǎng)格點(diǎn)P_i，使用下式對其進(jìn)行更新：P_i：＝α_iP+(1-α_i)P_i；

步驟4.2、對于第j個(gè)網(wǎng)格點(diǎn)，其在N幀圖像上的位置序列為D_j＝{D_1，j，D_2，j，D_i，j，...，D_N，j}，D_i，j表示第j個(gè)網(wǎng)格點(diǎn)在第i幀圖像上的位置，第j個(gè)網(wǎng)格點(diǎn)的運(yùn)動幅度方法如下：

1)計(jì)算邊緣的網(wǎng)格點(diǎn)的坐標(biāo)的均值為令：符號“：＝”表示將符號右邊的表達(dá)式的結(jié)果賦值給符號左邊的變量；

2)首先獲得第j個(gè)網(wǎng)格點(diǎn)的在當(dāng)前第i幀的最小運(yùn)動幅度，方法如下：計(jì)算當(dāng)前第i幀的第j個(gè)網(wǎng)格點(diǎn)D_i，j與前i-1幀圖像中每幀的第j個(gè)網(wǎng)格點(diǎn)的歐式距離L_i，L_i＝{L_i，1，L_i，2，...，L_i，m，...，L_i，i-1}，L_i，m表示第i幀的第j個(gè)網(wǎng)格點(diǎn)D_i，j與第m幀的第j個(gè)網(wǎng)格點(diǎn)D_m，j的歐式距離，即L_i，m＝||D_i，jD_m，j||₂，設(shè)前i幀中第j個(gè)網(wǎng)格點(diǎn)的最小運(yùn)動幅度為Lmin_i，則：Lmin_i＝min(min(L_i)，Lmin_i-1)，i＞2，min(L_i)表示序列L_i中最小的元素值，Lmin_i-1表示前i-1幀中第j個(gè)網(wǎng)格點(diǎn)的最小運(yùn)動幅度，其中Lmin₂＝||D_2，jD_1，j||₂，Lmin_i表示前i幀中第j個(gè)網(wǎng)格點(diǎn)的最小運(yùn)動范圍，通常該值比較小，等于或趨近于0；

3)同理獲得當(dāng)前第i幀第j個(gè)關(guān)鍵點(diǎn)的最大運(yùn)動程度Lmax_i，表示在前i幀中網(wǎng)格點(diǎn)最大的運(yùn)動范圍，Lmax_i與Lmin_i的算法一樣；

4)則第j個(gè)網(wǎng)格點(diǎn)的運(yùn)動幅度為M_j：

5)M_j越大表示第j個(gè)網(wǎng)格點(diǎn)的運(yùn)動范圍越大，說明第j個(gè)網(wǎng)格點(diǎn)處的肌肉的運(yùn)動能力越強(qiáng)。