[發(fā)明專利]一種基于遷移學(xué)習(xí)的多特征融合疲勞檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011492334.7
• 申請(qǐng)日: 2020-12-17
• 公開（公告）號(hào): CN112617835B
• 公開（公告）日: 2022-12-13
• 發(fā)明（設(shè)計(jì)）人: 陶鵬鵬;張帥青;檀旭棟;黃海平;胡素君;王汝傳;王睿;李欣祥
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): A61B5/18
• 分類號(hào): A61B5/18;A61B5/346;A61B5/352;A61B5/374;A61B5/398
• 代理公司: 南京正聯(lián)知識(shí)產(chǎn)權(quán)代理有限公司 32243
• 代理人: 王素琴

1.一種基于遷移學(xué)習(xí)的多特征融合疲勞檢測(cè)方法，包括以下步驟：

步驟1：選取若干志愿者；

步驟2：每個(gè)志愿者進(jìn)行實(shí)驗(yàn)室模擬駕駛并采集實(shí)時(shí)的腦電、心電、眼電和面部圖像信號(hào)，對(duì)每個(gè)志愿者間隔一段時(shí)間做反應(yīng)時(shí)間測(cè)試，完成數(shù)據(jù)采集；

步驟3:對(duì)每個(gè)志愿者的腦電、心電、眼電和面部圖像信號(hào)按時(shí)間窗口劃分，分別進(jìn)行特征提取，根據(jù)對(duì)應(yīng)的反應(yīng)時(shí)間設(shè)置標(biāo)簽，所有志愿者的數(shù)據(jù)和標(biāo)簽構(gòu)成有標(biāo)簽數(shù)據(jù)集D_s＝{x₁,x₂,x₃…x_i…x_n}，Y＝{Y₁,Y₂,Y₃…Y_i…Y_n}，其中x_i代表第i個(gè)志愿者的特征數(shù)據(jù)，Y_i代表第i個(gè)志愿者的狀態(tài)標(biāo)簽數(shù)據(jù)；

步驟4：對(duì)駕駛員進(jìn)行數(shù)據(jù)預(yù)收集和特征提取從而得到駕駛員特征數(shù)據(jù)x_tq,將x_tq與步驟3中的D_s數(shù)據(jù)集的每個(gè)志愿者數(shù)據(jù)分別求最大均值差,篩選出與駕駛員生理數(shù)據(jù)最大均值差最小的m個(gè)志愿者；

步驟5：使用步驟4得到的m個(gè)志愿者的有標(biāo)簽生理數(shù)據(jù)和步驟4的駕駛員特征數(shù)據(jù)x_tq，將每個(gè)志愿者的腦電數(shù)據(jù)、心電數(shù)據(jù)、眼電數(shù)據(jù)和面部圖像數(shù)分別訓(xùn)練4個(gè)基于深度自編碼器的遷移學(xué)習(xí)模型TLDA，共訓(xùn)練m×4個(gè)TLDA模型，并將駕駛員特征數(shù)據(jù)輸入訓(xùn)練好的模型，得到每個(gè)TLDA模型對(duì)駕駛員疲勞狀態(tài)的評(píng)估結(jié)果P(y_ij)，P(y_ij)代表第i個(gè)志愿者的第j個(gè)傳感器數(shù)據(jù)的TLDA模型輸出結(jié)果為疲勞的概率；

步驟6：將步驟5中每個(gè)志愿者的腦電、心電、眼電和面部圖像模型的評(píng)估結(jié)果，使用加權(quán)平均法綜合所有傳感器模型輸出的平均值作為對(duì)應(yīng)于每個(gè)志愿者的融合評(píng)估結(jié)果并統(tǒng)計(jì)出條件概率P(y_i|Y)，P(y_i|Y)代表在真實(shí)標(biāo)簽為疲勞的情況下第i個(gè)志愿者的TLDA模型的融合評(píng)估結(jié)果P(y_i)為疲勞的概率；

步驟7：使用步驟6的對(duì)應(yīng)于每個(gè)志愿者的融合評(píng)估結(jié)果P(y_i)和條件概率P(y_i|Y)計(jì)算出駕駛員最終的評(píng)估結(jié)果

2.根據(jù)權(quán)利要求1所述的一種基于遷移學(xué)習(xí)的多特征融合疲勞檢測(cè)方法，其特征在于，所述步驟2中，以512HZ的采樣頻率采集腦電、心電、眼電信號(hào)，以30fps頻率錄制受試者面部視頻。

3.根據(jù)權(quán)利要求1所述的一種基于遷移學(xué)習(xí)的多特征融合疲勞檢測(cè)方法，其特征在于，所述步驟3中，對(duì)腦電信號(hào)的處理為：先對(duì)腦電信號(hào)進(jìn)行小波閾值降噪，再使用小波分解得到α波，β波，θ波，然后計(jì)算各頻段的能量、樣本熵和樣本熵組合來(lái)作為腦電特征。

4.根據(jù)權(quán)利要求1所述的一種基于遷移學(xué)習(xí)的多特征融合疲勞檢測(cè)方法，其特征在于，對(duì)心電信號(hào)的處理為：首先進(jìn)行R波波峰點(diǎn)標(biāo)注，然后計(jì)算R-R間隔，再根據(jù)R-R間隔計(jì)算R-R間隔均值、R-R間隔標(biāo)準(zhǔn)差、以及大于50ms的R-R間期占R-R間期總數(shù)的比例來(lái)作為心電特征。

5.根據(jù)權(quán)利要求1所述的一種基于遷移學(xué)習(xí)的多特征融合疲勞檢測(cè)方法，其特征在于，對(duì)于眼電信號(hào)的處理為：先尋找每次眨眼的波峰和左右零點(diǎn)，計(jì)算每次眨眼的睜眼閉合時(shí)長(zhǎng)、眨眼睜開時(shí)長(zhǎng)，和時(shí)間窗中平均眨眼時(shí)長(zhǎng)，眨眼頻率以及組合特征PAVR，組合特征PAVR即每次眨眼過程中眼電信號(hào)的最大振幅與眨眼時(shí)長(zhǎng)的比值。

6.根據(jù)權(quán)利要求1所述的一種基于遷移學(xué)習(xí)的多特征融合疲勞檢測(cè)方法，其特征在于，對(duì)于面部圖像的處理為：使用CLM定位模型標(biāo)注人眼，獲取上下眼瞼距離來(lái)計(jì)算眼部特征PERCLOS，眼部特征PERCLOS即上下眼瞼距離小于睜眼狀態(tài)時(shí)上下眼瞼距離30％的時(shí)間和總時(shí)間窗口長(zhǎng)度的比值，同時(shí)將對(duì)應(yīng)的反應(yīng)時(shí)間作為標(biāo)簽。