[發明專利]一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法

在審

• 申請號: 202210529339.5
• 申請日: 2022-05-16
• 公開（公告）號: CN115024706A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 戎舟;王宇
• 申請（專利權）人: 南京郵電大學
• 主分類號: A61B5/024
• 分類號: A61B5/024;G06N3/04;G06N3/08;G06V40/16
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 劉莎

1.一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法，其特征在于，具體步驟如下：

獲取含有人臉視頻、生理信號標簽的數據集，并進行預處理；

構建融合ConvLSTM和CBAM注意力機制的網絡模型；

利用訓練完成的網絡模型進行非接觸式心率rPPG信號的預測；

使用巴特沃斯帶通濾波器對上述預測結果進行濾波；

計算濾波后rPPG信號功率譜密度，完成rPPG的測量。

2.如權利要求1所述的一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法，其特征在于，所述預處理的步驟如下：

1.1、使用人臉關鍵點檢測模型對數據集中的人臉視頻進行逐幀檢測，并裁剪出其中的ROI區域圖像，從而得到ROI圖像序列X＝{x₀,x₁,…,x_t,…,X_T-1}，x_t代表人臉視頻第t幀對應的ROI區域圖像，T代表人臉視頻的總幀數；

1.2、以人臉視頻幀率為采樣率，對生理信號標簽進行重采樣，得到生理信號標簽序列P＝{p₀,p₁,…,p_t,…,p_T-1}；

1.3、采用滑動窗口，對ROI圖像序列和生理信號標簽序列進行分段。

3.如權利要求1所述的一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法，其特征在于，融合ConvLSTM和CBAM注意力機制的網絡模型依次包括：第一卷積層、第一ConvLSTM層、級聯的N個融合CBAM注意力機制的卷積塊、第二ConvLSTM層，全連接層和Dropout層；其中融合CBAM注意力機制的卷積塊依次包括第二卷積層、第一BN層、第一激活函數層、第三卷積層、第二BN層、第二激活函數層、CBAM層。

4.如權利要求3所述的一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法，其特征在于，第一卷積層包括卷積核大小為[7,7]的二維卷積層以及Maxpool層。

5.如權利要求3所述的一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法，其特征在于，選擇負皮爾森相關系數作為網絡模型的損失函數：

其中，T代表人臉視頻的總幀數，x_t代表第t幀rPPG信號的預測結果，y代表x_t對應的生理信號標簽。

6.如權利要求3所述的一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法，其特征在于，濾波后rPPG信號功率譜密度的計算公式為：

其中，f(x_n；θ)表示網絡模型的輸出，x_n代表輸入網絡模型的第n幀圖片，θ代表網絡模型的所有參數，表示生理信號標簽的頻率，f_s代表人臉視頻幀率。

7.一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量裝置，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至6中任一所述的融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法的步驟。

8.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至6中任一所述的融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法的步驟。