[發明專利]基于人臉視頻實時顯示脈象波形的方法和系統

有效

• 申請號: 201911249939.0
• 申請日: 2019-12-09
• 公開（公告）號: CN112949349B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 蒙文
• 申請（專利權）人: 南寧蓮現健康科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/00;G06T7/246
• 代理公司: 廣西咕咕狗專利代理事務所(普通合伙) 45137
• 代理人: 朱志寬

1.基于人臉視頻實時顯示脈象波形的方法，其特征在于，包括以下步驟：

(1)采集人臉視頻及標準脈象；

(2)對采集的人臉視頻圖像進行檢測與區域追蹤；

(3)顏色空間轉換：將采集到的人臉視頻圖像由RGB空間轉換為HSV空間；

(4)歐拉視頻放大處理：人臉視頻圖像轉換到HSV空間后，將脈動引起的顏色變化信號進行放大處理，得到放大變化后的合成信號；

(5)RGB通道分離生成初始脈搏波：將經過歐拉視頻放大處理的視頻中每幀圖像分離成R、G、B三個通道，獲得視頻不同通道像素值的時間序列，生成初始脈搏波；

(6)對初始脈搏波信號進行去噪處理；

(7)脈搏波希爾伯特-黃轉換：將去噪后的脈搏波信號先進行總體經驗模態分解，然后將分解后的每個IMF分量進行希爾伯特-黃轉換，得到每個IMF分量隨時間變化的瞬時頻率和瞬時幅值，由此可以得到一個脈搏波的頻率-幅度-能量分布圖，即希爾伯特譜；

(8)構建條件生成對抗網絡：條件生成對抗網絡包括生成模型、判別模型和損失函數三部分，生成模型的輸入為希爾伯特譜和混入的隨機噪聲，輸出為優化的脈象波形的希爾伯特譜；判別模型隨機接收來自生成模型輸出的脈象波形或標準脈象數據集的標準脈象波形的希爾伯特譜，并判斷輸入的信號是來自于標準數據集還是生成模型的輸出信號，生成模型與判別模型形成對抗訓練，經過不斷優化生成對抗網絡的參數，最終實現更好的人臉脈象波形的輸出；損失函數對判別模型的輸出計算損失概率，根據損失概率的大小設定閥值判斷輸出的真假；

(9)訓練條件生成對抗網絡：利用人臉視頻生成的脈搏波與同時采集的標準脈象波形組成成對的訓練數據，累積得到一個訓練數據批數據；當訓練批數據達到數據量要求時，完成一輪條件生成對抗網絡的訓練，并更新網絡參數；循環執行訓練批數據采集和對抗訓練過程，直到損失函數的值滿足預設的閥值，即完成對抗網絡訓練；

(10)重構脈象波形：當判別模型的損失函數值小于預先設定的閥值時，生成對抗網絡模型的訓練完成，則可通過對生成模型輸出的脈象波形的希爾伯特譜進行逆希爾伯特變換，重構得到脈象波形，并實時顯示。

2.如權利要求1所述的基于人臉視頻實時顯示脈象波形的方法，其特征在于，步驟(4)所述的歐拉視頻放大處理包括以下步驟：

a.空間分解：通過圖像金字塔來實現，圖像金字塔每一層圖像均由底層圖像進行采樣得到；

b.時域濾波：利用時域帶通濾波器對視頻信號進行濾波，得到感興趣的脈搏搏動的變化信號；

c.放大處理：經過帶通濾波輸出的變化信號進行放大，得到顏色放大的目標信號；

d.視頻重構：合成不同分辨率下放大后的變化信號，并與原圖像疊加得到最后的輸出結果。

3.如權利要求1所述的基于人臉視頻實時顯示脈象波形的方法，其特征在于，步驟(7)所述總體經驗模態分解的過程如下：去噪后的脈搏波信號數據中加入高斯白噪聲，然后分解帶高斯白噪聲的時間序列，得到各IMF分量，每次加入不同的高斯白噪聲，然后各IMF分量分別取均值，得到最終的IMF分量。

4.基于人臉視頻實時顯示脈象波形的系統，其特征在于，包括人臉視頻采集模塊、視頻放大模塊、脈搏波特征構建模塊、標準脈象數據集、條件生成對抗網絡模塊、脈象波形重構模塊，所述的人臉視頻采集模塊與視頻放大模塊連接，視頻放大模塊與脈搏波特征構建模塊連接，所述條件生成對抗網絡模塊分別與脈搏波特征構建模塊、標準脈象數據集、脈象波形重構模塊連接；所述生成對抗網絡模塊接收來自脈搏波特征構建模塊輸出的數據與標準脈象數據集的數據，并形成對抗訓練，得到優化的對抗網絡參數；脈象波形重構模塊接收優化的對抗網絡參數對脈象波形進行重構轉換，完成脈象波形的實時顯示。

5.如權利要求4所述的基于人臉視頻實時顯示脈象波形的系統，其特征在于，所述的人臉視頻采集模塊采用智能手機攝像頭或其他攝像頭自動檢測定位人臉區域并實時錄制小段視頻，傳輸至人臉視頻放大模塊。