[發(fā)明專利]基于人臉視頻的房顫?rùn)z測(cè)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210142399.1
• 申請(qǐng)日: 2022-02-16
• 公開(kāi)（公告）號(hào): CN114631796A
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 胡元會(huì);褚瑜光;楊亦含;賈秋蕾;袁果真;陳婷;石樹(shù)青;師帥;魏藝;石晶晶;周妍;黃成;陳圣輝
• 申請(qǐng)（專利權(quán)）人: 北京小陽(yáng)科技有限公司;胡元會(huì)
• 主分類號(hào): A61B5/024
• 分類號(hào): A61B5/024;A61B5/0245
• 代理公司: 北京萬(wàn)思博知識(shí)產(chǎn)權(quán)代理有限公司 11694
• 代理人: 王惠;秦賀余

本申請(qǐng)公開(kāi)了一種基于人臉視頻的房顫?rùn)z測(cè)方法及系統(tǒng)，所述方法包括：采集不同人體對(duì)象的多組人臉視頻；依據(jù)人臉視頻提取人臉光電容積脈搏波描記法PPG信號(hào)；根據(jù)人臉PPG信號(hào)提取人體對(duì)象對(duì)應(yīng)的心率變異性特征；基于人體對(duì)象對(duì)應(yīng)檢測(cè)的ECG信號(hào)確定與心率變異特征匹配的房顫判斷結(jié)果，將房顫判斷結(jié)果為視頻幀添加對(duì)應(yīng)的房顫標(biāo)記；通過(guò)多層感知機(jī)對(duì)添加有房顫標(biāo)記的多組人臉視頻進(jìn)行分類訓(xùn)練，得到房顫?rùn)z測(cè)模型；利用房顫?rùn)z測(cè)模型根據(jù)待測(cè)對(duì)象對(duì)應(yīng)的待測(cè)人臉視頻進(jìn)行特征分析，并輸出待測(cè)對(duì)象對(duì)應(yīng)的房顫?rùn)z測(cè)結(jié)果。本申請(qǐng)的方案通過(guò)對(duì)人臉視頻對(duì)人工智能分析，及時(shí)對(duì)患者可能存在對(duì)房顫情況提供預(yù)警，從而為患者在臨床治療時(shí)提供參考依據(jù)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及基于人臉視頻的房顫?rùn)z測(cè)方法及系統(tǒng)。

背景技術(shù)

房顫，即心房顫動(dòng)，是最常見(jiàn)的持續(xù)性心律失常。一般情況下，進(jìn)行房顫?rùn)z測(cè)時(shí)，多是通過(guò)對(duì)患者進(jìn)行心電檢測(cè)，根據(jù)心電檢測(cè)的波形圖的節(jié)律變異判斷是否存在房顫。但是由于進(jìn)行心電檢測(cè)時(shí)可能需要一定的時(shí)間進(jìn)行檢測(cè)，以至于無(wú)法在患者進(jìn)行臨床治療時(shí)提供檢測(cè)依據(jù)。進(jìn)而無(wú)法及時(shí)發(fā)現(xiàn)患者潛在的病情危機(jī)。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于克服上述問(wèn)題或者至少部分地解決或緩減解決上述問(wèn)題。

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種基于人臉視頻的房顫?rùn)z測(cè)方法，包括：

采集不同人體對(duì)象的多組人臉視頻；

依據(jù)所述人臉視頻提取人臉光電容積脈搏波描記法PPG信號(hào)；

根據(jù)人臉PPG信號(hào)提取所述人體對(duì)象對(duì)應(yīng)的心率變異性特征；

基于所述人體對(duì)象對(duì)應(yīng)檢測(cè)的ECG信號(hào)確定與所述心率變異特征匹配的房顫判斷結(jié)果，將所述房顫判斷結(jié)果為所述視頻幀添加對(duì)應(yīng)的房顫標(biāo)記；

通過(guò)多層感知機(jī)對(duì)添加有所述房顫標(biāo)記的多組人臉視頻進(jìn)行分類訓(xùn)練，得到房顫?rùn)z測(cè)模型；

利用所述房顫?rùn)z測(cè)模型根據(jù)待測(cè)對(duì)象對(duì)應(yīng)的待測(cè)人臉視頻進(jìn)行特征分析，并輸出所述待測(cè)對(duì)象對(duì)應(yīng)的房顫?rùn)z測(cè)結(jié)果。

可選地，所述依據(jù)所述人臉視頻提取人臉光電容積脈搏波描記法PPG信號(hào)包括：

利用MNNKIT人臉檢測(cè)器識(shí)別所述被測(cè)人體的人臉在所述人臉視頻的各視頻幀中的位置，并獲取各所述視頻幀中多個(gè)人臉特征點(diǎn)對(duì)應(yīng)的多個(gè)特征點(diǎn)位置；

根據(jù)所述多個(gè)特征點(diǎn)位置獲取所述人體對(duì)象的人臉在各所述視頻幀中的運(yùn)動(dòng)坐標(biāo)；

根據(jù)所述多個(gè)人臉特征位置確定所述人臉的額頭區(qū)域、左臉區(qū)域、右臉區(qū)域和鼻子區(qū)域；

獲取所述額頭區(qū)域、左臉區(qū)域、右臉區(qū)域和鼻子區(qū)域的HSV顏色空間的均值，作為HSV顏色值，依據(jù)所述HSV顏色值按照三倍的方差原則設(shè)計(jì)皮膚顏色空間在HSV通道的范圍，根據(jù)所述范圍生成皮膚掩膜；

根據(jù)所述皮膚掩膜獲取所述額頭區(qū)域、左臉區(qū)域、右臉區(qū)域和鼻子區(qū)域的空域均值形成時(shí)序信號(hào)C；

根據(jù)所述人體對(duì)象的人臉在各所述視頻幀中的運(yùn)動(dòng)坐標(biāo)生成人臉的運(yùn)動(dòng)軌跡，作為運(yùn)動(dòng)噪聲的干擾信號(hào)N；

基于所述時(shí)序信號(hào)C和干擾信號(hào)N生成矩陣S，S＝[C,N]；

通過(guò)最小二乘法從矩陣S求解人臉PPG信號(hào)。

可選地，人臉X軸的運(yùn)動(dòng)坐標(biāo)為所述多個(gè)特征點(diǎn)X坐標(biāo)的平均值；人臉Y軸的運(yùn)動(dòng)坐標(biāo)為所述多個(gè)特征點(diǎn)Y坐標(biāo)的平均值。

可選地，所述根據(jù)所述皮膚掩膜獲取所述額頭區(qū)域、左臉區(qū)域、右臉區(qū)域和鼻子區(qū)域的空域均值形成時(shí)序信號(hào)C包括：

根據(jù)所述皮膚掩膜獲取所述額頭區(qū)域、左臉區(qū)域、右臉區(qū)域和鼻子區(qū)域的空域均值形成3*T的時(shí)序信號(hào)，T為視頻幀的長(zhǎng)度；