[發明專利]基于端到端生成對抗網絡的非接觸式生理信號測量方法

有效

• 申請號: 202010870622.5
• 申請日: 2020-08-26
• 公開（公告）號: CN112001122B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 宋仁成;陳歡;成娟;李暢;劉羽;陳勛
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06N3/0475
• 分類號: G06N3/0475;G06N3/045;G06N3/0464;G06N3/08;G06F16/783;G16H50/20;G16H80/00
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于端到端生成對抗網絡的非接觸式生理信號測量方法，其特征在于，包括以下步驟：

步驟一、處理視頻數據獲得網絡訓練時的標簽信號，并獲得相應的運動信號；

步驟1.1獲取t幀視頻圖像X，并通過人臉檢測及追蹤算法識別和追蹤每一幀圖像的面部區域，使用非接觸式心率測量算法處理每一幀圖像的面部區域，從而得到色度信號C；

步驟1.2獲取t幀視頻圖像X對應的參考信號P，利用式(1)將參考信號P用級數展開，從而獲得第i個標簽信號P_i：

式(1)中，F_i為第i個基函數，α_i為第i個展開系數，i＝1,2,…,N；

步驟1.3獲取t幀視頻圖像X對應時間內的運動信號Y；

步驟二、搭建生成對抗網絡的結構，包括生成器G和判別器D；

步驟2.1所述生成器G采用一個3D網絡與N個1D網絡級聯的方式構成，所述3D網絡采用R(2+1)D網絡模塊，N個1D網絡均采用Wave-U-Net網絡模塊；

所述R(2+1)D網絡模塊的輸入為t幀視頻圖像X，所述R(2+1)D網絡模塊的輸出層與第1個Wave-U-Net網絡模塊的輸入層連接，并將所述運動信號Y作為條件同時輸入第1個Wave-U-Net網絡模塊，然后第1個Wave-U-Net網絡模塊的輸出層連接第2個Wave-U-Net網絡模塊的輸入層；所述R(2+1)D網絡模塊的輸出層通過跳躍連接方式與第2個Wave-U-Net網絡模塊的輸入層相連；第1個Wave-U-Net網絡模塊的輸出層通過跳躍連接方式與第3個Wave-U-Net網絡模塊的輸入層相連；第i個Wave-U-Net網絡模塊的輸出層通過跳躍連接方式與第i+2個Wave-U-Net網絡模塊的輸入層相連；i＝2,3,…,N-2；第N-1個網絡的輸出層通過跳躍連接方式直接連接第N個Wave-U-Net網絡模塊的輸出層；從而將一個R(2+1)D網絡模塊與N個Wave-U-Net網絡模塊級聯起來構成生成器G；t幀視頻圖像X經過所述生成器G的處理后，得到一個rPPG信號；

步驟2.2采用多個一維卷積模塊堆疊組成判別器D，所述判別器D的輸入為rPPG信號或者參考信號P，輸出為一個一維判別矩陣，所述一維判別矩陣的每一個判別值表示判別器D對rPPG信號或者參考信號P的特征級別的判斷結果；

步驟三、設計損失函數，建立生成對抗網絡的優化目標；

步驟3.1利用式(2)建立生成器G的損失函數L_G：

式(2)中，L_adv為生成器G和判別器D之間的對抗損失，并通過式(3)得到；L_r為R(2+1)D網絡模塊的損失，并通過式(4)得到；L_w,i為第i個Wave-U-Net網絡模塊的損失，并通過式(5)得到；λ為對抗損失L_adv的權重，β為R(2+1)D網絡模塊的損失L_r的權重，γ_i第i個網絡模塊的損失L_w,i的權重，N為Wave-U-Net網絡模塊的總數；

L_adv＝(D(G(X,Y))-1)²????(3)

L_r＝||R(X)-C||₁????(4)

L_w,i＝||W_i-P_i||₁，i＝1,2,…,N??????(5)

式(3)-式(5)中，||·||₁表示L₁范數，R(X)表示R(2+1)D網絡模塊的輸出，W_i表示第i個Wave-U-Net網絡模塊的輸出；G(X,Y)表示視頻數據X和運動信號Y輸入生成器G后，生成器G的輸出，D(G(X,Y))表示生成器G的輸出G(X,Y)再輸入判別器D后，判別器D的輸出；

步驟3.2利用式(6)建立判別器D的損失函數L_D：

式(6)中，D(P)表示參考信號P輸入判別器D后，判別器D的輸出；

對于參考信號P，期望所述判別器D對其特征級別的判斷為1，對于rPPG信號，期望所述判別器D對其特征級別的判斷為0；

步驟四、輸入訓練數據并進行網絡訓練，從而得到最優模型；

將步驟一中處理的數據輸入網絡進行訓練，將所述視頻數據X、運動信號Y、色度信號C以及N個標簽信號分別輸入所述生成器G中，并將生成器G生成的rPPG信號或參考信號P輸入所述判別器D，使得所述生成器G和判別器D交替訓練，并不斷調整網絡參數，使得所述生成器G中每個網絡模塊各自的輸出信號與對應的目標信號之間的誤差不斷減小，直到誤差不再減小為止，從而得到所述生成器G的最優模型，以實現端到端的視頻生理信號測量。