[發明專利]一種基于面部表情分析的新生兒疼痛識別方法

有效

• 申請號: 201710628847.8
• 申請日: 2017-07-28
• 公開（公告）號: CN107491740B
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 支瑞聰;張德政;許海瑞;高鳴旋;李婷婷
• 申請（專利權）人: 北京科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

1.一種基于面部表情分析的新生兒疼痛識別方法，其特征在于，包括：

S101，獲取包含人臉面部信息的視頻序列；

S102，從獲取的所述視頻序列中提取表示疼痛面部表情動態變化的面部動態幾何特征和面部動態紋理特征；

S103，將提取的所述面部動態幾何特征和所述面部動態紋理特征進行特征融合，并對融合后得到的面部特征向量進行降維；

S104，根據降維后得到的面部特征向量，訓練分類器；

其中，所述獲取包含人臉面部信息的視頻序列包括：

若獲取的所述視頻序列中包括：人臉面部信息及背景信息，則提取所述視頻序列中每幀圖像的人臉面部區域；

對提取的人臉面部區域進行面部特征點檢測；

其中，所述從獲取的所述視頻序列中提取面部動態幾何特征包括：

根據面部特征點定義與疼痛相關的距離參數，其中，所述距離參數包括：面部運動距離參數和頭部運動距離參數；

根據感知疼痛過程中面部肌肉運動特點，對獲取的所述視頻序列中的每幀圖像計算所述距離參數，得到每幀圖像的靜態特征參數；

將所述視頻序列中各幀圖像的靜態特征參數連接起來組成隨時間變化的時域特征序列信號；

根據得到的所述時域特征序列信號，提取動態幾何特征，得到描述面部運動變化的面部動態幾何特征向量；

其中，所述根據得到的所述時域特征序列信號，提取動態幾何特征，得到描述面部運動變化的面部動態幾何特征向量包括：

對得到的所述時域特征序列信號進行平滑處理，得到平滑后信號；

計算所述平滑后信號的一階導數，得到所述時域特征序列信號的速度信號；

計算所述平滑后信號的二階導數，得到所述時域特征序列信號的加速度信號；

對所述平滑后信號、所述時域特征序列信號的速度信號和加速度信號分別提取多個動態幾何特征，得到描述面部運動變化的面部動態幾何特征向量。

2.根據權利要求1所述的基于面部表情分析的新生兒疼痛識別方法，其特征在于，所述面部運動距離參數包括：左側眉毛到左側眼睛的距離、右側眉毛到右側眼睛的距離、左側上眼皮到左側下眼皮的距離、右側上眼皮到右側下眼皮的距離、左側眉毛到嘴巴左端的距離、右側眉毛到嘴巴右端的距離、左側眼睛到嘴巴左端的距離、右側眼睛到嘴巴右端的距離、鼻子到嘴巴的距離、嘴巴張開寬度、嘴巴張開高度；

所述頭部運動距離參數包括：左側眉毛到左側面部邊界的距離、右側眉毛到右側面部邊界的距離、左側眼睛到左側面部邊界的距離、右側眼睛到右側面部邊界的距離、鼻子左端到左側面部邊界的距離、鼻子右端到右側面部邊界的距離、嘴巴左端到左側面部邊界的距離、嘴巴右端到右側面部邊界的距離。

3.根據權利要求1所述的基于面部表情分析的新生兒疼痛識別方法，其特征在于，所述從獲取的所述視頻序列中提取面部動態紋理特征包括：

以檢測到的面部特征點為基礎，選取包含眉毛、眼睛、鼻子、嘴巴以及面部邊界的主要特征點；

以選取的主要特征點為中心定義預設大小的局部方形區域；

以每個局部方形區域為單元組成的時間序列，分別提取時空域灰度紋理特征組成面部動態紋理特征向量。

4.根據權利要求1所述的基于面部表情分析的新生兒疼痛識別方法，其特征在于，所述將提取的所述面部動態幾何特征和所述面部動態紋理特征進行特征融合，并對融合后得到的面部特征向量進行降維包括：

將獲取的所述面部動態幾何特征和所述面部動態紋理特征連接起來進行特征融合，得到面部特征向量，所述面部特征向量用于表示一個視頻樣本的面部運動特征；

采用監督型局部保留映射特征降維方法，對所述面部特征向量進行維數約簡。

5.根據權利要求1所述的基于面部表情分析的新生兒疼痛識別方法，其特征在于，所述方法還包括：

對提取的所述面部動態幾何特征和所述面部動態紋理特征進行降維；

根據降維后得到的面部動態幾何特征和面部動態紋理特征的融合特征，訓練分類器，分類器輸出結果代表疼痛識別結果。