[發(fā)明專利]一種基于色彩空間學(xué)習(xí)的人臉視頻心率估計方法

有效

• 申請?zhí)枺?/td>: 202110695521.3
• 申請日: 2021-06-23
• 公開（公告）號: CN113255585B
• 公開（公告）日: 2021-11-19
• 發(fā)明（設(shè)計）人: 邱兆林;林蘭芬;陳延偉;童若鋒;李勁松
• 申請（專利權(quán)）人: 之江實(shí)驗(yàn)室
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;A61B5/024
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

1.一種基于色彩空間學(xué)習(xí)的人臉視頻心率估計方法，其特征在于，具體步驟如下：

（1）通過攝像機(jī)拍攝人臉視頻；

（2）構(gòu)建用于人臉視頻心率估計的神經(jīng)網(wǎng)絡(luò)；所述神經(jīng)網(wǎng)絡(luò)包含特征提取模塊、色彩空間變換層和心率估計模塊；所述特征提取模塊采用多層皮膚區(qū)域選擇方法提取人臉視頻的特征圖，所述色彩空間變換層通過學(xué)習(xí)得到，將提取的特征圖映射到合適的色彩空間中，所述心率估計模塊為估算心率的深度神經(jīng)網(wǎng)絡(luò)；具體過程如下：

（2.1）特征提取模塊：通過人臉視頻進(jìn)行多層皮膚區(qū)域選擇方法進(jìn)行特征提取；對于一段長度為幀，色彩空間維度為的人臉視頻，選擇個臉部區(qū)域進(jìn)行多層皮膚區(qū)域選擇，個臉部區(qū)域生成個臉部區(qū)域的全組合，對每一個臉部區(qū)域組合單獨(dú)進(jìn)行池化，得到的特征圖的大小是；

（2.2）色彩空間變換層：通過色彩空間變換層對特征圖進(jìn)行色彩空間的轉(zhuǎn)換；所述色彩空間變換層是可學(xué)習(xí)的函數(shù)：

其中是原色彩空間的顏色表示，其色彩空間維度為，是使用個實(shí)數(shù)來表示顏色，是實(shí)數(shù)；為新色彩空間的顏色表示，色彩空間維度為；因此，特征提取模塊提取出的特征圖經(jīng)過色彩空間變換層以后得到新色彩空間上的特征圖為：

色彩空間變換層包含線性變換的色彩空間變換層和非線性變換的色彩空間變換層兩種；其中，通過一個大小為的轉(zhuǎn)換矩陣實(shí)現(xiàn)色彩空間的變換，而為了使該變換可學(xué)習(xí)，引入一層輸入維度為、輸出維度為的全連接層，該全連接層的參數(shù)即為上述的轉(zhuǎn)換矩陣；通過該全連接層，色彩空間變換層在線性空間維度上尋找最合適的色彩空間；而是通過非線性變換得到的色彩空間，因此引入兩層全連接層，并在其中加入了非線性的激活函數(shù)，使色彩空間變換層在非線性空間的維度上尋找最合適的色彩空間；

（2.3）心率估計模塊：心率估計模塊以ResNet-18 作為基礎(chǔ)網(wǎng)絡(luò)，在基礎(chǔ)網(wǎng)絡(luò)的輸出加入一層全連接層，使用網(wǎng)絡(luò)提取出的信息對心率進(jìn)行回歸，并在基礎(chǔ)網(wǎng)絡(luò)中加入了通道注意力模塊，在訓(xùn)練的過程中調(diào)整對不同色彩通道的注意力，使心率估計模塊選擇對心率預(yù)測更佳有益的色彩通道，從而提高模型的預(yù)測性能；

（3）將步驟（1）獲取的人臉視頻輸入到步驟（2）中構(gòu)建并訓(xùn)練完成的用于人臉視頻心率估計的神經(jīng)網(wǎng)絡(luò)中，通過特征提取模塊提取人臉視頻的特征圖，通過色彩空間變換層映射到學(xué)習(xí)后的色彩空間中，最后通過心率估計模塊得出估算的心率。