[發明專利]心率檢測方法及裝置

有效

• 申請號: 201711091442.1
• 申請日: 2017-11-08
• 公開（公告）號: CN107692997B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 季向陽;劉文然;陳孝罡
• 申請（專利權）人: 清華大學
• 主分類號: A61B5/024
• 分類號: A61B5/024
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及心率檢測方法及裝置。該方法包括：截取視頻幀序列的各個視頻幀中的人臉區域，得到各個所述視頻幀對應的人臉區域圖像；通過卷積神經網絡提取各個所述人臉區域圖像中的皮膚區域的特征；根據各個所述人臉區域圖像中的皮膚區域的特征，確定所述視頻幀序列對應的心率。本公開通過截取視頻幀序列的各個視頻幀中的人臉區域，得到各個視頻幀對應的人臉區域圖像，通過卷積神經網絡提取各個人臉區域圖像中的皮膚區域的特征，并根據各個人臉區域圖像中的皮膚區域的特征，確定視頻幀序列對應的心率，由此能夠提高心率檢測的準確性和魯棒性。

技術領域

本公開涉及計算機視覺領域，尤其涉及一種心率檢測方法及裝置。

背景技術

通過包含人臉的視頻檢測視頻中對象的心率，是一種通過分析視頻中人臉所在區域因血流變化而產生的像素RGB(Red，紅；Green，綠；Blue，藍)值變化，從而得到心率的方法。

在相關技術的基于人臉視頻的心率檢測方法中，通常將視頻中每幀人臉區域的像素值的平均值分別作為每幀的RGB特征，再利用連續幀的RGB特征通過盲源分離或者矩陣補全等方法得到視頻中對象的心率。這類方法的缺陷在于，直接通過每幀中人臉區域的RGB特征得到每幀的心率相關特征，容易由于環境光照改變或者人臉表情變化等原因而不能真實反映心率信號，魯棒性較差。此外，由于人臉中各部分血流變化對RGB的反應程度不一樣，一些較能表現血流變化的區域常常會因與其他部分平均之后使得信號變得微弱，導致心率檢測的準確性較低。

發明內容

有鑒于此，本公開提出了一種心率檢測方法及裝置，以提高心率檢測的準確性和魯棒性。

根據本公開的一方面，提供了一種心率檢測方法，包括：

截取視頻幀序列的各個視頻幀中的人臉區域，得到各個所述視頻幀對應的人臉區域圖像；

通過卷積神經網絡提取各個所述人臉區域圖像中的皮膚區域的特征；

根據各個所述人臉區域圖像中的皮膚區域的特征，確定所述視頻幀序列對應的心率。

在一種可能的實現方式中，根據各個所述人臉區域圖像中的皮膚區域的特征，確定所述視頻幀序列對應的心率，包括：

根據所述視頻幀序列對應的各個人臉區域圖像中的皮膚區域的特征，確定多組連續幀對應的特征；

將多組連續幀對應的特征輸入全連接神經網絡中，得到所述視頻幀序列對應的心率。

在一種可能的實現方式中，通過卷積神經網絡提取各個所述人臉區域圖像中的皮膚區域的特征，包括：

根據所述卷積神經網絡的輸入幀率，調整所述視頻幀序列對應的人臉區域圖像序列的幀率，其中，所述人臉區域圖像序列為根據所述視頻幀序列對應的各個所述人臉區域圖像得到的圖像序列；

將調整幀率后的所述人臉區域圖像序列輸入所述卷積神經網絡中，得到所述人臉區域圖像序列中的各個人臉區域圖像中的皮膚區域的特征。

在一種可能的實現方式中，在通過卷積神經網絡提取各個所述人臉區域圖像中的皮膚區域的特征之前，所述方法還包括：

采用訓練數據集訓練卷積神經網絡和全連接神經網絡，其中，所述訓練數據集包括人臉視頻幀序列和所述人臉視頻幀序列對應的心率。

根據本公開的另一方面，提供了一種心率檢測裝置，包括：

截取模塊，用于截取視頻幀序列的各個視頻幀中的人臉區域，得到各個所述視頻幀對應的人臉區域圖像；

特征提取模塊，用于通過卷積神經網絡提取各個所述人臉區域圖像中的皮膚區域的特征；

心率確定模塊，用于根據各個所述人臉區域圖像中的皮膚區域的特征，確定所述視頻幀序列對應的心率。