[發明專利]一種多角度駕駛員疲勞程度評估方法

在審

• 申請號: 202211040818.7
• 申請日: 2022-08-29
• 公開（公告）號: CN115457516A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 王金湘;陳錦鑫;方振伍;殷國棟;陳建松;耿可可
• 申請（專利權）人: 東南大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V10/774;G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 王雪

1.一種多角度駕駛員疲勞程度評估方法，其特征在于，包括訓練步驟和測試步驟；

訓練步驟包括以下具體步驟：

S1、采集多角度駕駛員疲勞面部圖像，并對采集的圖像進行標記分類，形成多角度駕駛員疲勞數據集；

S2、建立疲勞檢測模型的網絡結構；

S3、根據多角度駕駛員疲勞數據集，使用遷移學習訓練疲勞檢測模型；

測試步驟包括以下具體步驟：

S4、使用單個相機獲取駕駛員的面部圖像；

S5、將獲取到的面部圖像輸入駕駛員疲勞檢測模型，以輸出圖像疲勞分類結果；

S6、累積計算疲勞幀數，對駕駛員疲勞程度進行評估。

2.根據權利要求1所述的一種多角度駕駛員疲勞程度評估方法，其特征在于，S1中通過在環形的駕駛模擬器上設置多個相機，通過多個角度的相機采集多角度駕駛員疲勞數據。

3.根據權利要求2所述的一種多角度駕駛員疲勞程度評估方法，其特征在于，相機設置5組，環形駕駛模擬器的中部設置一組，左右兩側各設置兩組；相機之間的夾角為35°。

4.根據權利要求1所述的一種多角度駕駛員疲勞程度評估方法，其特征在于，駕駛員疲勞狀態通過睡眠剝奪引起；數據收集前一晚，駕駛員僅允許睡眠5小時，且采集實驗在下午2-4點進行。

5.根據權利要求2所述的一種多角度駕駛員疲勞程度評估方法，其特征在于，S1中生成多角度疲勞檢測訓練集，先對中間相機采集到的正臉圖像進行標記分類，再根據標記的正臉圖像標記側臉圖像。

6.根據權利要求1所述的一種多角度駕駛員疲勞程度評估方法，其特征在于，S2中疲勞檢測模型的網絡結構包括人臉檢測網絡和疲勞檢測網絡；

人臉檢測網絡選用結合了級聯結構和多任務學習方法的MTCNN網絡；

人臉檢測網絡輸出的人臉圖像首先統一縮放為48×48像素，再對圖像進行歸一化。歸一化后的圖像輸入到疲勞檢測網絡中。

7.根據權利要求6所述的一種多角度駕駛員疲勞程度評估方法，其特征在于，MTCNN網絡的級聯結構包括P-Net、R-Net和O-Net；O-Net模型是MTCNN網絡三級級聯結構的最后一級；疲勞檢測網絡由MTCNN網絡的O-Net模型遷移學習得到；疲勞檢測網絡輸出疲勞和不疲勞兩種結果。

8.根據權利要求1所述的一種多角度駕駛員疲勞程度評估方法，其特征在于，S3中遷移學習訓練疲勞檢測模型，在訓練過程中，輸入疲勞檢測框架的數據為多角度疲勞檢測訓練集；使用Glorot均勻分布初始化器初始化疲勞檢測網絡的全連接層的權重，其他層都與MTCNN中O-Net模型的相應層共享相同的權重，在訓練過程中僅更新疲勞檢測網絡的全連接層的權重。

9.根據權利要求1所述的一種多角度駕駛員疲勞程度評估方法，其特征在于，測試過程中累積計算發生的疲勞幀數；根據檢測到一定數量的疲勞幀所用時間的長短對駕駛員的疲勞程度進行評估。