[發明專利]一種基于RGB-NIR攝像頭的非接觸式實時心率檢測方法

在審

• 申請號: 202111549774.6
• 申請日: 2021-12-17
• 公開（公告）號: CN114220152A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 魏遠旺;張先超;嚴子涵;朱耀東;王超超
• 申請（專利權）人: 嘉興學院
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06K9/00;G06V10/25;G06V10/28;G06V10/74;G06K9/62
• 代理公司: 嘉興倍創專利代理事務所(普通合伙) 33395
• 代理人: 周闖

1.一種基于RGB-NIR攝像頭的非接觸式實時心率檢測方法，其特征在于，包括如下步驟：

S1、使用RGB-NIR攝像頭采集人臉圖像；

S2、使用OpenCV定位、識別和獲取每幀圖像內每個人臉的特征點，并將其分為若干面部區域；而后建立基于高斯核密度估計的背景模型，根據面部區域得到若干背景區域；

S3、基于面部區域得到原始信號，將經過濾波處理后的原始信號作為原始心率信號；基于背景參考區域得到背景信號；

S4、經驗模態分解得到本征模態分量；

S5、使用正交投影變換算法對本征模態分量作相似度分析，提取得到心率信號曲線；

S6、對心率信號曲線作峰值統計，估計出心率值；

S7、實時采集數據，重復上述步驟后得到實時心率。

2.如權利要求1所述的一種基于RGB-NIR攝像頭的非接觸式實時心率檢測方法，其特征在于：在所述S1中，

打開RGB-NIR攝像頭采集一段包含人臉的視頻，得到RGB版和NIR版的視頻各一段；采用基于時間軸上滑動窗口的切片操作將原視頻劃分為10s的短視頻。

3.如權利要求1所述的一種基于RGB-NIR攝像頭的非接觸式實時心率檢測方法，其特征在于：在所述S2中，

創建基于OpenCV中的DNN模型的人臉檢測器，對RGB版視頻的每一幀圖像進行人臉檢測并獲得人臉區域，利用DLib庫獲取人臉特征點，并根據得到的人臉特征點將人臉區域劃分成四個面部區域：前額區域、左臉區域、右臉區域和下顎區域，面部區域分為RGB版和NIR版；建立基于高斯核密度估計的背景模型，以人臉區域質點為中心，利用搜索算法選取人臉區域周圍的四個背景區域作為參考區域；

利用檢測到的人臉特征點，計算前后兩幀人臉特征點之間的歐氏距離，若小于預先設定閾值Dist，則可認為同一張人臉，依此來實現對人臉的追蹤；

否則，結束當前心率估計流程，重新以當前幀為第一幀開始重復S2；進一步根據人臉特征點提取面部的感興趣區域：前額(a)，左邊面頰(b)，右邊面頰(c)和下嘴唇中心(d)。

4.如權利要求1所述的一種基于RGB-NIR攝像頭的非接觸式實時心率檢測方法，其特征在于：在所述S2中，

背景提取方法具體為，令x₁,x₂,…,x_N為某像素的最近前N幀的灰度值，x_t為該像素在當前t時刻的像素值，則該像素的概率密度函數為：

其中，公式(1)實質是用高斯核函數在樣值點x₁,x₂,…,x_N做內插形式的連續函數，那么可依據下式來獲取背景點：

其中，T為閾值，M_t(x,y)中0表示背景點，1表示前景目標點；

然后從當前短視頻中提取背景區域作為參考區域。

5.如權利要求1所述的一種基于RGB-NIR攝像頭的非接觸式實時心率檢測方法，其特征在于：在所述S3中，

所述原始信號提取是基于面部區域，提取G和N通道值并做均值化操作，將得到的G通道和N通道序列與輸入時間軸一一對應，得到一組原始信號；

所述背景信號提取是基于背景區域，提取R、G、B和N通道值并做均值化操作，將得到的R、G、B和N通道序列與輸入時間軸一一對應，得到一組背景信號；

得到原始信號和背景信號的具體過程為：

首先，將同一時刻的RGB圖像和NIR圖像作時空融合處理，分別獲得混合前和混合后的圖像面部區域與參照區域G和N通道均值序列；

然后，根據設定值獲取時間軸，對上述序列進行非線性最小二乘法擬合，得到時間軸上的一維信號曲線；

最后，采用帶通濾波器對原始信號和背景信號曲線進行濾波，消除明顯的噪聲，然后將濾波后的原始信號作為原始心率信號，濾波后的參照區域信號作為背景信號。