[發明專利]基于端到端生成對抗網絡的非接觸式生理信號測量方法

有效

• 申請號: 202010870622.5
• 申請日: 2020-08-26
• 公開（公告）號: CN112001122B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 宋仁成;陳歡;成娟;李暢;劉羽;陳勛
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06N3/0475
• 分類號: G06N3/0475;G06N3/045;G06N3/0464;G06N3/08;G06F16/783;G16H50/20;G16H80/00
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于端到端生成對抗網絡的非接觸式生理信號測量方法，其步驟包括：1處理視頻數據得到色度信號，將參考信號用級數展開獲得多個標簽信號，并獲取對應的運動信號；2構建生成對抗網絡，設計生成器和判別器的網絡結構，采用3D網絡模塊和多個1D網絡模塊級聯構成引導式的多標簽生成器，采用多個卷積塊構成判別器；3生成器多個網絡模塊的損失函數與對抗損失的加權和作為損失函數，判別器以最小二乘損失作為損失函數；4將視頻數據輸入生成對抗網絡訓練，調整網絡參數，得到最優模型。本發明能夠得到較為準確的rPPG信號，為基于視頻的生理參數監測的實際應用提供解決方案。

技術領域

本發明涉及非接觸式生理信號檢測及分析技術領域，具體涉及一種基于端到端生成對抗網絡的非接觸式生理信號測量方法。

背景技術

血容量脈沖信號是一種重要的生理信號，它包含多種重要的生理信息，可以從中得到心率、心率變異性等多種生理參數，對臨床診斷疾病具有重要意義。目前，臨床上監測人體血容量脈沖信號的方法主要為接觸式測量方法，采用一些接觸式的測量儀器如心電圖機、脈搏血氧儀等來監測血容量脈沖信號。由于測量時需要接觸到受試者的皮膚，長時間使用會引起受試者的不適。并且，對于一些特殊人群如嬰兒、易過敏膚質人群以及燒傷病人等，接觸式的測量方法并不適用。近年來，基于視頻圖像的遠程光電容積描記(remotephotoplethysmography，rPPG)已經成為一大研究熱點，rPPG技術利用消費者級攝像機記錄心跳引起的面部皮膚顏色變化，采用一些算法處理這種顏色變化獲得血容量脈沖信號，稱為rPPG信號，它具有無創、便攜、易于實現等特點。

在rPPG技術中主要存在兩大難題——光照變化和運動噪聲，但是大多數場景都處于室內光源或自然光源條件下，光照變化比較小，而受試者難免會有運動，因此運動去噪成為rPPG的最主要問題。經過多年的發展，人們根據不同的假設和機理引入了多種rPPG方法，例如，基于盲源分離和基于模型的傳統方法。傳統方法的假設往往不能完全滿足實際情況，脈沖信號提取的精度受到限制，使得它們的應用場景非常有限。隨著深度學習的迅速發展，由于其快速且強大的處理數據的能力，在rPPG領域也開始活躍起來。利用深度學習技術，能夠在真實環境下從視頻中提取準確的心率。但目前大部分技術都只是獲得一段時間內的平均心率值或者不夠準確的rPPG信號，這使得rPPG的應用受到了很大的限制。

發明內容

本發明是為避免上述現有技術的不足，提供一種基于端到端生成對抗網絡的非接觸式生理信號測量方法，以期能夠直接從視頻得到準確的rPPG信號，從而計算更多的生理參數，為移動健康監護、疾病診斷提供有效信息。

本發明為解決技術問題采用如下方案：

本發明一種基于端到端生成對抗網絡的非接觸式生理信號測量方法的特點在于，包括以下步驟：

步驟一、處理視頻數據獲得網絡訓練時的標簽信號，并獲得相應的運動信號；

步驟1.1獲取t幀視頻圖像X，并通過人臉檢測及追蹤算法識別和追蹤每一幀圖像的面部區域，使用非接觸式心率測量算法處理每一幀圖像的面部區域，從而得到色度信號C；

步驟1.2獲取t幀視頻圖像X對應的參考信號P，利用式(1)將參考信號P用級數展開，從而獲得第i個標簽信號P_i：

式(1)中，F_i為第i個基函數，α_i為第i個展開系數，i＝1,2,…,N；

步驟1.3獲取t幀視頻圖像X對應時間內的運動信號Y；

步驟二、搭建生成對抗網絡的結構，包括生成器G和判別器D；

步驟2.1所述生成器G采用一個3D網絡與N個1D網絡級聯的方式構成，所述3D網絡采用R(2+1)D網絡模塊，N個1D網絡均采用Wave-U-Net網絡模塊；