[發明專利]面部血流脈沖信號和面部器官運動特征提取方法

在審

• 申請號: 202010894355.5
• 申請日: 2020-08-31
• 公開（公告）號: CN112102949A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 吳小培;耿基棟;李士申;張宇駿;張超;呂釗;張磊;郭曉靜;周蚌艷
• 申請（專利權）人: 安徽大學
• 主分類號: G16H50/30
• 分類號: G16H50/30;G06K9/00;A61B5/0205
• 代理公司: 合肥市上嘉專利代理事務所(普通合伙) 34125
• 代理人: 李璐

本發明公開了一種面部血流脈沖信號和面部器官運動特征提取方法，利用本發明的穩定性好、抗干擾能力強的面部視頻采集設備拍攝高質量面部視頻，再利用信號處理技術對面部視頻序列空間濾波、預處理，然后經ICA盲源分離算法分離得到面部血流脈沖信號和面部器官運動特征，最后針對ICA的排序模糊的問題，采用一種基于SNR和譜峭度的BVP自動提取方法，計算出心率、呼吸率的生命體征參數。本發明不僅可以提取BVP信號，進而獲得心率、呼吸率等生命體征參數，還能對面部器官動作相關的信號成分進行檢測，如眼動特征檢測和唇部運動特征檢測等，為表情分析、情感識別、疲勞監測和心理狀態評估等提供方便適用的穿戴式面部視頻采集裝置及其方法。

技術領域

本發明涉及基于面部視頻的生命體征和表情特征檢測技術及其應用領域，特別是涉及一種基于穿戴式視頻采集設備的面部血流脈沖信號和面部器官運動特征提取方法。

背景技術

基于面部視頻的血流脈沖(Blood Volume Pulse，BVP)提取方法(通常稱之為iPPG或者rPPG)在臨床醫學和健康監測領域具有廣闊的應用前景。當前所提出的不同iPPG-BVP方法均涉及對視頻圖像三基色(R/G/B)分量的運用。歸納起來可分為兩類，其一通過對圖像G分量直接進行時域濾波獲取BVP信號，稱之為G_BVP方法，但該方法對視頻錄制環境要求比較嚴格，抗干擾能力較弱；另一類是基于盲源分離技術 (Blind source separation,BSS)的BVP信號提取方法，其中的代表性方法是基于獨立分量分析(Independent componentanalysis，ICA)的BVP信號分離，稱之為ICA_BVP 方法。相比G_BVP方法，ICA_BVP方法具有一定的抗運動干擾和光線干擾能力，在信噪比改善方面具有一定的優勢。但是如果運動幅度較大，ICA_BVP方法的性能也會明顯下降。值得一提的是，面部視頻中除了包含BVP等生命體征信息外，還包含了一些面部器官自主和非自主動作(如眨眼和唇動等)而產生的信號成分。雖然它們對BVP 會產生一定的干擾，但面部器官運動特征對疲勞檢測以及表情和情感分析能提供有價值的信息。

針對iPPG技術所面臨運動和光照干擾問題，目前尚未提出一種非常有效的解決方案。對人臉視頻中包含的與面部器官動作相關的信號成分，現有方法也只是將它們作為運動干擾進行處理，而未考慮其潛在的應用價值。在iPPG技術的實際應用中，為了盡可能保證BVP信號的質量，通常需要采用人臉跟蹤和面部區域優選算法，甚至有研究者提出采用多攝像頭技術跟蹤獲取有效的人臉區域，由此而引起的算法復雜度和設備成本明顯增加，且算法的實用效果依然難以保證。

因此亟需提供一種新型的面部血流脈沖信號和面部器官運動特征提取方法來解決上述問題。

發明內容

本發明所要解決的技術問題是提供一種面部血流脈沖信號和面部器官運動特征提取方法，不僅可以提取BVP信號，進而獲得心率、呼吸率等生命體征參數，還能對面部器官動作相關的信號成分進行檢測，如眼動特征檢測和唇部運動特征檢測等。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種面部血流脈沖信號和面部器官運動特征提取方法，基于一種穿戴式面部視頻采集裝置，該裝置包括頭部穿戴式主體、攝像頭、連接頭部穿戴式主體與攝像頭的連桿，該方法包括以下步驟：

S1：調節所述穿戴式面部視頻采集裝置，使其攝像頭正對被試面部，采集被試面部視頻并保存；

S2：根據所需獲取的血流脈沖信息、眼動信息、唇動信息，選擇相對應的初始面部區域，用于BVP和面部器官運動特征的提取；

S3：對選定區域內的像素點進行空間平均及預處理；

S4：利用基于二階統計量的盲源分離算法，從預處理后的觀測信號中分離BVP分量和與面部器官運動相關的信號分量；

S5：若需獲取血流脈沖信息，則采用基于信噪比和譜峭度的BVP自動定位和提取方法，計算出心率、呼吸率的生命體征參數。