[發明專利]一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法

在審

• 申請號: 202210529339.5
• 申請日: 2022-05-16
• 公開（公告）號: CN115024706A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 戎舟;王宇
• 申請（專利權）人: 南京郵電大學
• 主分類號: A61B5/024
• 分類號: A61B5/024;G06N3/04;G06N3/08;G06V40/16
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 劉莎

本發明公開了一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法，采用人臉關鍵點檢測模型提取人臉視頻中感興趣區域圖像序列，以視頻幀率為采樣率對數據集中的生理信號進行重采樣，然后采用滑動窗口的方法對視頻和生理信號進行分段，制作人臉感興趣區域視頻片段和與之對應的生理信號的數據集；構建融合ConvLSTM和CBAM注意力機制的深度學習網絡模型，ConvLSTM能夠學習視頻序列之間的時空特征，CBAM注意力機制能強化特征圖中的重要通道的信息和關注生理信號更強烈的區域；將制作好的數據集送入網絡進行訓練，經過訓練，選取最優模型，該模型相比傳統方法能夠提高復雜情況下非接觸式生理信號提取的能力，提高測量精度。

技術領域

本發明涉及一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法，屬于視頻分析領域。

背景技術

心率是眾多生理信息中最基本也是最重要的信息之一，是衡量心臟是否健康的最主要生理指標。傳統的心率檢測設備如心電圖、脈搏血氧儀等不僅需要將設備與人體緊密貼合，容易讓人產生不適，而且需要專業人員進行操作，不利于實時和長期的監測心率。相對于傳統的接觸式測量而言，基于視頻的非接觸式測量方案更加舒適、靈活和便捷，受限制條件很少，可適用于更多的場合。

人體血液中血紅蛋白對光具有一定吸收能力，心臟跳動的過程會不斷向血管中泵血和抽血，使得血液中血紅蛋白的含量會隨著心臟的跳動而發生變化，對光的吸收能力也在隨之變化，人體面部皮膚下富含毛細血管，當光照射在上面時，其顏色會發生微弱變化，雖然人眼看不見，但可以通過RGB相機記錄下來，這是通過人臉獲取心率的理論依據。

早期的非接觸式心率測量方法一般分為如下幾個步驟：人臉檢測并提取ROI；生理信號提取，包括基于盲源分離算法，如獨立成分分析法，和基于光學反射模型的方法，如色差法以及基于皮膚平面正交法；生理信號處理，如去趨勢、歸一化、帶通濾波等方法；心率信號估算，包括對提取的生理信號進行傅里葉變換轉換到頻域，計算波峰出現的頻率值，或直接對信號進行峰值檢測，從而得到最終心率。

然而研究表明，傳統的非接觸式心率檢測還存在諸多難以解決的問題，如：光照變化，運動等不可控因素對視頻的分析造成巨大難度。

深度學習是近年來機器學習領域一個熱門研究方向，已經在計算機視覺、自然語言處理等領域獲得了巨大的成功。尤其是在圖像特征提取方面，深度學習模型處理復雜數據的能力十分強大，同時，注意力機制的引入，可以突出強調圖像中有用區域的特征，弱化無用區域的特征，因此可以將深度學習應用于非接觸式心率測量任務中。

發明內容

為了解決現有技術中的上述問題，提出了一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法，以提高非接觸式心率測量的魯棒性和泛化能力。

本發明為解決上述技術問題采用以下技術方案：

一種融合ConvLSTM和CBAM注意力機制的非接觸式心率測量方法，具體步驟如下：

獲取含有人臉視頻、生理信號標簽的數據集，并進行預處理；

構建融合ConvLSTM和CBAM注意力機制的網絡模型；

利用訓練完成的網絡模型進行非接觸式心率rPPG信號的預測；

使用巴特沃斯帶通濾波器對上述預測結果進行濾波；

計算濾波后rPPG信號功率譜密度，完成rPPG的測量。

進一步，所述預處理的步驟如下：