[發明專利]一種基于時空注意力網絡和輸入優化的非接觸式心率測量方法

有效

• 申請號: 202110600607.3
• 申請日: 2021-05-31
• 公開（公告）號: CN113343821B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 吳霞;胡敏;王曉華;郭棟
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于時空注意力網絡和輸入優化的非接觸式心率測量方法，其特征是按如下步驟進行：

步驟一、獲取含有人臉視頻、標簽生理信號及標簽心率的數據集，并進行預處理；

步驟1.1、使用多任務級聯卷積神經網絡對數據集中的人臉視頻進行逐幀檢測并裁剪出人臉圖像，從而得到人臉圖像集；

步驟1.2、對人臉圖像集進行歸一化處理，得到歸一化后的人臉圖像集X＝{x₀,x₁,…,x_t,…x_T-1}，x_t表示歸一化后的第t幀人臉圖像，且x_t的大小為Y×Y×C，0≤t≤T-1，T表示歸一化后的人臉圖像集X內的人臉視頻的幀數；

步驟1.3、將第t幀人臉圖像x_t與數據集中第t個生理信號和相對應后再進行濾波處理與歸一化處理，從而得到預處理后的標簽生理信號數據P＝{p₀,p₁,…,p_t,…p_T-1}，p_t表示預處理后的第t個標簽生理信號；

步驟1.4、將第t幀人臉圖像x_t與數據集中第t個標簽心率值相對應，從而得到標簽心率數據HR＝{hr₀,hr₁,…,hr_t,…hr_T-1}，hr_t表示第t個標簽心率值；

步驟二、訓練超分辨率模型ESRGAN，用于恢復圖像中的生理信息；

步驟2.1、采用超分重建數據集獨立訓練超分辨率模型ESRGAN，且訓練過程中保留超分辨率模型ESRGAN的生成器中上采樣模塊，得到預訓練后的ESRGAN模型；

步驟2.2、去除預訓練后的ESRGAN模型的生成器中上采樣模塊后，基于經過視頻壓縮的其他人臉視頻數據集的人臉圖像，使用遷移學習再次對刪除上采樣模塊后的模型進行訓練后，得到初步訓練好的ESRGAN模型；

步驟三、構建時空注意力網絡模型M，包括：由兩層的2D卷積層、時域融合模塊、注意力模塊、多個殘差塊的堆疊構成網絡主干；且采用指數線性單位函數為時空注意力網絡模型M的激活函數，并在激活函數后使用批標準化處理；

步驟四、基于公開數據集PURE，采用遷移學習的策略訓練時空注意力網絡模型M；

步驟4.1、按照步驟一對公開數據集PURE進行預處理，得到PURE人臉數據集X′＝{x′₀,x′₁,…,x′_t,…x′_T-1}、PURE標簽生理信號數據P′＝{p′₀,p′₁,…,p′_t,…p′_T-1}和PURE標簽心率數值HR′＝{hr′₀,hr′₁,…,hr′_t,…hr′_T-1}，x′_t、p′_t和hr′_t分別代表PURE數據集經過步驟一處理后的第t幀人臉圖像、第t個標簽生理信號和第t個標簽心率值；

步驟4.2、以隨機的D度以內的角度對維度為Y×Y×C的PURE人臉圖像集X′進行旋轉，并以一定的比例區間(α，β)對旋轉后的人臉圖像集進行隨機裁剪，再將剪裁后的人臉圖像集按照Y×Y的維度進行上采樣后輸入到時空注意力網絡模型模型M中，經過主干網絡前兩層的2D卷積層的提取，得到部分空間特征；

步驟4.3、將所述部分空間特征輸入主干網絡的時域融合模塊、注意力模塊以及多個殘差塊中進行時域信息挖掘處理，輸出維度為T/2×1×1的特征圖信號序列E＝{e₀,e₁,…,e_t,…e_T/2-1}；e_t表示第t個特征圖信號；

步驟4.4、對特征圖信號E進行維度縮減后再利用最近鄰插值法進行上采樣處理，得到長度為T的rPPG信號，記為R＝{r₀,r₁,…,r_t,…r_T-1}；r_t表示第t個rPPG信號；

步驟4.5、利用式(1)所示的L2損失函數來衡量時空注意力網絡模型M所提取的rPPG信號R與PURE標簽生理信號數據P′的誤差Loss_L2(X′,P′)：

步驟4.6、使用巴特沃斯帶通濾波器將rPPG信號R中指定帶寬區間(ω,μ)以外的噪聲以及諧波信號進行濾除，得到濾波后的rPPG信號R′＝{r′₀,r₁′,…,r′_t,…r′_T-1}，r_t′表示濾波后的第t個rPPG信號；

步驟4.7、利用式(2)計算濾波后的rPPG信號R′的功率譜密度

式(2)中，r′_n為第n幀人臉圖片經過時空注意力網絡模型M后的輸出值再經過濾波處理后的rPPG信號；表示給定的心率頻率；f_s表示所輸入視頻數據的幀率；

步驟4.8、利用式(3)計算信噪比SNR(f_T,X′)：

式(3)中，f_T為標簽心率HR′所對應的頻率值；F為人體所有可能心率所對應頻率值的集合；F⁺＝(f_T-Δ,f_T+Δ)為標簽心率HR′所對應頻率值附近的一段間隔，Δ表示標簽心率HR′附近的一段區域；F\F⁺表示除標簽心率HR′外的其他頻率集合；

步驟4.9、利用式(4)計算交叉熵損失函數Loss_SNR(f_T,X′)：

式(4)中，PSD(f_T,X′)表示rPPG信號R′關于標簽心率HR′對應頻率值的功率譜密度；

步驟4.10、利用式(5)計算總損失函數Loss_Total(f_T,X′)：

式(5)中，α₁與α₂表示用于調節兩部分損失函數權重的超參數；

步驟4.11、按照步驟4.2至步驟4.10的過程，并采用Adam優化器對時空注意力網絡模型M的所有參數進行優化，直到總損失Loss_Total在連續I個訓練周期內不再下降為止；得到優化后的時空注意力網絡模型；

步驟4.12、將優化后的時空注意力網絡模型遷移到其他數據集，重復步驟4.2至步驟4.10，并采用Adam優化器對優化后的時空注意力網絡模型所有參數再進行優化，直到總損失Loss_Total在連續I個訓練周期內不再下降為止，得到初步訓練好的時空注意力網絡模型M′；

步驟五、將所述初步訓練好的ESRGAN中的生成器S′與所述初步訓練好的時空注意力網絡模型M′進行聯合訓練；

步驟5.1、按照步驟一的過程將經過視頻壓縮的第三人臉視頻數據集進行處理，輸出人臉數據集X″、標簽生理信號數據P″和標簽心率數值HR″；

步驟5.2、利用ESRGAN模型中的生成器S′對人臉數據集X″進行逐幀優化，得到優化好的視頻數據C＝{c₀,c₁,…,c_t,…c_T/2-1}，c_t表示優化好的第t幀人臉圖片；

步驟5.3、采用POS算法與動作描述正則化方法對優化好的視頻數據C進行處理，再將兩者在通道上進行級聯，得到處理后的視頻數據C′，將視頻數據C′送入初步訓練好的時空注意力網絡模型M′進行訓練，得到rPPG信號R″和總損失函數Loss′_Total；

步驟5.4、按照步驟5.2至步驟5.3的過程，利用標簽生理信號數據P″和標簽心率數值HR″對初步訓練好的時空注意力網絡模型M′和ESRGAN模型中的生成器S′進行監督學習，并采用余弦退火重啟算法對生成器S′的學習率進行調整，采用Adam優化器對初步訓練好的時空注意力網絡模型M′的參數進行優化，直到總損失Loss′_Total在連續I個訓練周期內不再下降為止，從而得到訓練完成的時空注意力網絡模型M″和ESRGAN模型的生成器S″，用于非接觸式測量心率。