[發明專利]一種基于時空注意力網絡和輸入優化的非接觸式心率測量方法

有效

• 申請號: 202110600607.3
• 申請日: 2021-05-31
• 公開（公告）號: CN113343821B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 吳霞;胡敏;王曉華;郭棟
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于時空注意力網絡和輸入優化的非接觸式心率測量方法，其步驟包括：1獲取含有人臉視頻、標簽生理信號及標簽心率的數據集，并進行預處理；2訓練超分辨率模型ESRGAN，用于恢復圖像中的生理信息；3構建時空注意力網絡模型M；4采用遷移學習的策略訓練時空注意力網絡模型M，得到初步訓練好的時空注意力網絡模型M′；5將初步訓練好的ESRGAN中的生成器S′與初步訓練好的時空注意力網絡模型M′進行聯合訓練，實現非接觸式測量心率。本發明能有效、精確地提取出rPPG信號，大幅提升提取信號的質量，并從rPPG信號中計算出心率信息，從而能顯著提高非接觸式心率測量的準確率。

技術領域

本發明涉及到注意力網絡，超分辨率網絡和心率檢測，屬于視頻計算領域，具體的說是一種基于時空注意力網絡和輸入優化的非接觸式心率測量方法。

背景技術

傳統的心率監測設備，比如心電圖，需要特定的設備并且必須與人體皮膚表面接觸。若需要進行長期的持續監測，則會對使用者或患者造成諸多不便。且心電圖設備往往體積大、價格昂貴，因此測量成本過高，不利于實時地對用戶的生理及心理健康狀況進行長期監測。相相較于接觸式的設備，基于視頻的非接觸式心率監測優勢明顯。該監測方法成本低廉，無需用戶佩戴設備，利用一個消費級攝像頭即可通過人體皮膚表面的光學信息捕獲到心率，克服了接觸式心率測量的劣勢，可在多種環境下進行實時的心率監測。

國內外研究非接觸式心率監測一般分為五個步驟：

(1)ROI提取與跟蹤。ROI可根據需要進行選取，一般來說，ROI選取人臉部分。該步驟可以拋棄圖像中無用的背景信息，使得相關研究集中到所需關注的核心區域中來。

(2)輸入圖像預處理。為了減少輸入噪聲或是增強生理信息，很多傳統算法還會對輸入數據進行預處理，例如將視頻幀的色彩模式進行轉換、對視頻進行歐拉放大，或是對視頻進行歸一化處理。

(3)生理信號提取。使用rPPG提取算法計算出視頻中所包含的rPPG信號。目前，rPPG提取算法大致分為三類：基于信號分解的算法、基于色彩通道線性組合的算法，以及基于深度學習的算法。

(4)信號后處理。由于初步提取的rPPG信號可能會含有噪聲，可使用信號處理技術對其進行濾波去噪。

(5)心率估算。可對rPPG信號使用離散傅里葉變換將其轉換到頻域，計算rPPG信號波峰的出現頻率，或直接對rPPG信號進行波峰檢測，從而得到最終的心率值。

然而研究表明非接觸式心率檢測還存在諸多問題，比如：光照、運動等不可控因素會影響人臉檢測的準確率；為了降低存儲或傳輸成本，對視頻數據進行壓縮時會導致生理信號被腐蝕；由于個體間存在差異，個體的膚色以及皮膚狀況也存在很大差異，這就對算法的泛化性能有很高的要求等等。將原始視頻作為輸入，并不能很好地利用視頻中的生理信息，使得心率檢測的準確率不高。并且由于大部分數據集所覆蓋的心率范圍極其有限，極大地影響模型的泛化能力。

發明內容

本發明是為了解決上述現有技術存在的不足之處，提出一種基于時空注意力網絡和輸入優化的非接觸式心率測量方法，以期能恢復并增強壓縮視頻數據中的生理信號信息，減少噪聲干擾，并充分利用空間信息與時域信息，提高rPPG信號提取的魯棒性，從而能顯著提高非接觸式心率測量的準確率。

本發明為達到上述發明目的，采用如下技術方案：

本發明一種基于時空注意力網絡和輸入優化的非接觸式心率測量方法的特點是按如下步驟進行：

步驟一、獲取含有人臉視頻、標簽生理信號及標簽心率的數據集，并進行預處理；

步驟1.1、使用多任務級聯卷積神經網絡對數據集中的人臉視頻進行逐幀檢測并裁剪出人臉圖像，從而得到人臉圖像集；