[發明專利]基于面部和呼吸特征的路怒監測方法、系統、設備及介質

有效

• 申請號: 201910228205.8
• 申請日: 2019-03-25
• 公開（公告）號: CN109993093B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 楊立才;張成昱
• 申請（專利權）人: 山東大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V40/16;G06V40/20;G06V10/50;G06V10/80
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于面部和呼吸特征的路怒監測方法，其特征是，包括：

獲取駕駛員的面部視頻和呼吸數據；

所述面部視頻通過紅外高速攝像頭獲??；所述呼吸數據通過腹帶式呼吸采集終端獲?。?/p>

所述腹帶式呼吸采集終端為壓力傳感器，壓力傳感器與控制器連接，將采集的呼吸數據上傳給控制器；所述壓力傳感器設置在主駕駛座的安全帶上，當駕駛員系上安全帶后，壓力傳感器位于駕駛員的腹部中間位置，壓力傳感器內置于安全帶中；壓力傳感器負責采集駕駛員的腹部壓力數據，腹部壓力數據被視為呼吸數據；

從面部視頻中提取面部區域圖像，從獲取的面部區域圖像中提取面部特征；

從面部視頻中提取面部區域圖像的具體步驟為：

選取設定時長的面部圖像，每間隔設定時間段提取一幀面部圖像，一共提取了若干幀面部圖像，對提取的每一幀面部圖像均進行平滑處理和去噪處理；

對去噪處理后的若干幀圖像，采用基于HOG特征提取和圖像金字塔的方式提取出駕駛員的面部區域圖像；

所述對去噪處理后的若干幀圖像，采用基于HOG特征提取和圖像金字塔的方式提取出駕駛員的面部區域圖像的具體步驟為：

對去噪處理后的每一幀圖像分別進行亞采樣，對每一幀圖像構建一個圖像金字塔；

對每個圖像金字塔的每一層子圖像提取HOG特征向量，并對所提取的HOG特征向量進行標準化處理；

對每個圖像金字塔的每一層子圖像提取HOG特征向量的具體步驟為：

計算圖像每個像素點(x,y)的梯度g_x、g_y，梯度幅值g和方向θ；

g_x＝f(x+1,y)-f(x-1,y)；

g_y＝f(x,y+1)-f(x,y-1)；

將單幅圖像分割成設定數量且相同大小的區域塊block，將每個區域塊再分割成設定數量且相同大小的單元格cell；

基于每個像素點的梯度幅值g和方向θ，分別統計每個單元格的梯度方向直方圖，將同一區域塊內單元格的梯度直方圖連接成區域塊直方圖，對區域塊直方圖進行L2-norm標準化，最后級聯所有區域塊block的特征向量，即可得到整幅圖像的HOG特征向量；

對所提取的HOG特征向量進行標準化處理的具體步驟為：

其中，a為HOG特征向量，||a||₂為a的2階范數，ε是常量；

最終，對每個圖像金字塔中所有層的HOG特征向量進行級聯，得到HOG金字塔特征；

將HOG金字塔特征，輸入到預先訓練得到的支持向量機SVM人臉區域檢測模型中，保留圖像的人臉區域部分，刪除非人臉區域，得到當前幀圖像的面部區域圖像；

預先訓練得到的支持向量機SVM人臉區域檢測模型，具體訓練過程：

構建支持向量機SVM模型；

利用帶有人臉區域標簽和非人臉區域標簽的歷史駕駛員面部圖像的HOG金字塔特征對支持向量機SVM模型進行訓練；

得到訓練好的支持向量機SVM人臉區域檢測模型；

從獲取的呼吸數據中提取呼吸特征；

在從獲取的呼吸數據中采集呼吸特征中采集呼吸特征步驟之前，需要對獲取的呼吸數據進行預處理；

所述對獲取的呼吸數據進行預處理的具體步驟為：

對呼吸數據基于經驗模態分解法進行去噪和濾波處理；

采用基于經驗模態分解法分解信號x(t)的公式如下：

其中，imf_i(t)是第i個IMF分量，RES表示殘余量；

經驗模態分解法EMD將信號分解為若干有限個IMF分量和一個殘余量RES；

每一個IMF分量都必須滿足兩個條件：

(1)信號的極值點個數和過零點個數的差值必須小于或等于1；

(2)信號任意點的上包絡和下包絡的均值為零；

每分解出一個IMF分量后，判斷RES能否繼續分解出滿足條件的IMF分量，若能，則繼續，若不能，則結束；

所述從獲取的呼吸數據中提取呼吸特征的具體步驟為：

對預處理得到的呼吸數據進行呼吸特征提取，提取時域特征、頻域特征以及非線性特征；

所述時域特征，包括：均值、標準差、偏度值和峰度值；

其中，偏度值s和峰度值k的計算公式如下：

其中，為呼吸信號的均值，σ為呼吸信號的標準差，偏度值表示信號的中心對稱程度，峰度值表示信號分布形態的陡緩程度；

所述頻域特征為呼吸信號在各個頻段內的功率之和，各個頻段分別包括：0-0.1Hz，0.1-0.2Hz，0.2-0.3Hz，0.3-0.4Hz或0.4-1Hz；

所述非線性特征，包括：多尺度熵、近似熵或心率變異性；

多尺度熵算法由粗?；^程和樣本熵計算兩部分組成，通過計算多個時間尺度上的樣本熵評估時間序列的復雜度；

近似熵是一種用于量化時間序列波動的規律性和不規則性的非線性動力學參數；它反映了時間序列中新信息發生的可能性，越是不規則的時間序列對應的近似熵越大；

心率變異性是指逐次心跳周期差異的變化情況，含有能夠反映部分心血管疾病的信息，也能夠反映人的情緒；駕駛員處于憤怒狀態時，呼吸信號的周期差異也會發生變化，心率變異性關聯指數特征能夠用于判斷駕駛員的情緒狀態；

對采集的面部特征和呼吸特征進行特征融合；

對采集的面部特征和呼吸特征進行特征融合的具體步驟為：

對采集的面部特征和呼吸特征均采用最大最小值歸一化方法進行歸一化處理；對歸一化處理得到的面部特征和呼吸特征采用加權的方式進行特征融合，得到融合的特征向量；

將融合后的特征輸入到訓練好的深度學習模型中，輸出路怒的監測狀態；

所述訓練好的深度學習模型的訓練步驟包括：

獲取駕駛員的面部圖像和呼吸數據；

從獲取的面部圖像中提取面部特征，從獲取的呼吸數據中提取呼吸特征；

對采集的面部特征和呼吸特征進行特征融合；得到融合后的特征向量；

對融合后的特征向量，標注路怒標簽和非路怒標簽；

將標注標簽的融合特征向量分為訓練集和測試集；

構建卷積神經網絡模型，將訓練集輸入到卷積神經網絡模型中，對卷積神經網絡模型進行訓練，當識別率達到設定閾值時，得到初步訓練好的卷積神經網絡模型；否則，繼續訓練；

將測試集輸入到初步訓練好的卷積神經網絡模型中，對初步訓練好的卷積神經網絡進行測試，若測試分類正確率高于設定閾值，則得到訓練好的卷積神經網絡模型，否則，優化卷積神經網絡的參數，更新訓練集，重新進行訓練，直至得到訓練好的卷積神經網絡模型，結束。