[發明專利]一種基于色彩空間學習的人臉視頻心率估計方法

有效

• 申請號: 202110695521.3
• 申請日: 2021-06-23
• 公開（公告）號: CN113255585B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 邱兆林;林蘭芬;陳延偉;童若鋒;李勁松
• 申請（專利權）人: 之江實驗室
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;A61B5/024
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

本發明公開了一種基于色彩空間學習的人臉視頻心率估計方法，首先獲取人臉視頻，然后構建用于人臉視頻心率估計的神經網絡；所述神經網絡包含特征提取模塊、色彩空間變換層和心率估計模塊；所述特征提取模塊采用多層皮膚區域選擇方法提取人臉視頻的特征圖，所述色彩空間變換層通過學習得到，將提取的特征圖映射到合適的色彩空間中，所述心率估計模塊為估算心率的深度神經網絡；最后將獲取的人臉視頻輸入到構建并訓練完成的用于人臉視頻心率估計的神經網絡中得出估算的心率。本發明首次使用色彩空間變換的方式進行人臉視頻的心率估計，對比傳統色彩空間降低了誤差，提升了預測準確度。

技術領域

本發明涉及心率估計領域，尤其涉及一種基于色彩空間學習的人臉視頻心率估計方法。

背景技術

使用人臉視頻進行心率估計是非接觸式光體積描記法（remotephotoplethysmography，rPPG）技術的一個重要應用。它通過對視頻中臉部顏色的細微變化建模分析，估算出臉部的血液脈沖信號，從而預測出被測者的心率信息。

傳統的 rPPG方法使用數學建模回歸的方式，建立臉部視頻與心率的映射關系。CHROM 方法使用基于色度的顏色處理方法提取脈沖信號，比基于 RGB色彩空間方法得到了更高的精度。POS方法使用皮膚平面正交（Plane-Orthogonal-to-Skin）的方法將臉部視頻幀進行投影后提取脈沖信號。2SR方法使用了空間子空間旋轉（Spatial SubspaceRotation）的方法進一步提升了 rPPG 方法的精度。

近年來，隨著深度學習的發展，越來越多的使用神經網絡進行心率估算的方法被提出。DeepPhys是第一個基于深度卷積網絡的使用視頻進行心率和呼吸速率估算的端到端方法。RhythmNet方法使用人臉視頻構造了時空特征圖，通過卷積神經網絡來預測心率。

現有的使用人臉視頻的心率估計方法需要提取人臉顏色的細微變化，因此對視頻的光照非常敏感。為了選取更加合適的色彩空間以避免其他因素對心率估計的干擾，目前大多數的方法都在 YUV色彩空間上進行，并證明 YUV色彩空間比傳統的 RGB色彩空間效果更佳，但無法證明 YUV色彩空間是最適合使用人臉視頻的心率估計的色彩空間。

本發明提出了色彩空間學習的方法，創新性地在神經網絡中加入了可學習的色彩空間變換層，將人臉視頻映射到更適合的色彩空間上，從而達到更高的精度。同時使用了先進的注意力模塊和多層皮膚區域選擇方法，以充分提取人臉視頻中的脈沖信號。

發明內容

本發明目的在于針對現有技術的不足，提出一種基于色彩空間學習的人臉視頻心率估計方法，該方法在神經網絡中加入了可學習的色彩空間變換層，通過訓練可以得到更加適合心率估計的色彩空間，解決了心率估計問題中色彩空間選擇的問題。同時網絡中加入了先進的注意力模塊和多層皮膚區域選擇方法，充分利用人臉視頻提取脈沖信號，以提高方法的精度。

本發明的目的是通過以下技術方案來實現的：一種基于色彩空間學習的人臉視頻心率估計方法，具體步驟如下：

（1）通過攝像機拍攝人臉視頻；

（2）構建用于人臉視頻心率估計的神經網絡；所述神經網絡包含特征提取模塊、色彩空間變換層和心率估計模塊；所述特征提取模塊采用多層皮膚區域選擇方法提取人臉視頻的特征圖，所述色彩空間變換層通過學習得到，將提取的特征圖映射到合適的色彩空間中，所述心率估計模塊為估算心率的深度神經網絡；

（3）將步驟（1）獲取的人臉視頻輸入到步驟（2）中構建并訓練完成的用于人臉視頻心率估計的神經網絡中，通過特征提取模塊提取人臉視頻的特征圖，通過色彩空間變換層映射到學習后的色彩空間中，最后通過心率估計模塊得出估算的心率。

進一步地，步驟（2）中，所述多層皮膚區域選擇方法具體為：對于一段長度為幀，色彩空間維度為的人臉視頻，選擇個臉部區域進行多層皮膚區域選擇，個臉部區域生成個臉部區域的全組合，對每一個臉部區域組合單獨進行池化，得到的特征圖的大小是。