[發明專利]一種疲勞駕駛檢測方法、裝置和電子設備

在審

• 申請號: 201811431370.5
• 申請日: 2018-11-26
• 公開（公告）號: CN109614892A
• 公開（公告）日: 2019-04-12
• 發明（設計）人: 舒玉龍
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝;趙美林

1.一種疲勞駕駛檢測方法，其特征在于，包括：

獲取深度相機對駕駛員拍攝的一幀紅外圖像和深度圖像；

并行對紅外圖像和深度圖像進行運算，根據對紅外圖像的運算結果和/或根據對深度圖像的運算結果確定駕駛員當前是否處在疲勞駕駛狀態。

2.根據權利要求1所述的方法，其特征在于，所述并行對紅外圖像和深度圖像進行運算包括：

開啟第一線程，對紅外圖像進行運算以及開啟第二線程，對深度圖像進行運算。

3.根據權利要求2所述的方法，其特征在于，所述開啟第一線程，對紅外圖像進行運算包括：

開啟第一線程，用于執行下列操作：使用級聯分類器在紅外圖像全圖中查找人臉區域，并在人臉區域中定位眼睛和嘴巴，提取眼睛區域和嘴巴區域內的圖像特征值，將特征值組成的特征向量輸入到所述級聯分類器中，得到級聯分類器輸出的駕駛員當前是否存在閉眼或打哈欠行為的分類結果；

根據對紅外圖像的運算結果確定駕駛員當前是否處在疲勞駕駛狀態包括若分類結果為存在閉眼或打哈欠行為，則確定駕駛員當前是否處在疲勞駕駛狀態。

4.根據權利要求2或3所述的方法，其特征在于，所述開啟第二線程，對深度圖像進行運算包括：

開啟第二線程，用于執行下列操作：根據紅外圖像中查找出的人臉區域確定深度圖像上的人臉區域，在人臉區域中定位出臉部，計算臉部的每個點的坐標得到當前幀的人臉點云，根據基準點云以及所述當前幀的人臉點云，確定當前幀的人臉點云指示的頭部姿態相對于基準點云指示的頭部姿態的差值；

根據對深度圖像的運算結果確定駕駛員當前是否處在疲勞駕駛狀態包括：當差值大于第一閾值時確定駕駛員當前是否處在疲勞駕駛狀態。

5.根據權利要求4所述的方法，其特征在于，根據基準點云以及所述當前幀的人臉點云，確定當前幀的人臉點云指示的頭部姿態相對于基準點云指示的頭部姿態的差值包括：

步驟51，對當前幀的人臉點云上的點與基準點云上的點做相關性對應，確定點之間的對應關系；

步驟52，根據當前幀的人臉點云上的點與基準點云中的點的對應關系，計算指示兩個點云的旋轉平移關系的旋轉矩陣R和平移向量t；

步驟53，使用R、t旋轉平移當前幀的人臉點云，計算旋轉后的人臉點云和基準點云的所有對應點的歐式距離的和，如果歐式距離的和小于第二閾值，則認為R、t為最優旋轉矩陣和最優平移向量；如果和大于或等于第二閾值，則將旋轉平移后的當前幀的人臉點云作為新點云返回執行步驟51至步驟53，直至歐式距離的和小于第二閾值。

6.根據權利要求5所述的方法，其特征在于，所述步驟51，對當前幀的人臉點云上的點與基準點云上的點做相關性對應，確定點之間的對應關系包括：

步驟511，查找當前幀的人臉點云上的點與基準點云的每個點中的最近鄰的點；

步驟512，對當前幀的人臉點云上的點及其對應的最近鄰的點進行相關性剔除。

7.根據權利要求6所述的方法，其特征在于，所述步驟512，對當前幀的人臉點云上的點及其對應的最近鄰的點進行相關性剔除具體包括：

計算當前幀的人臉點云上的點及其對應的最近鄰的點之間的歐氏距離，如果歐氏距離大于第三閾值，則將當前幀的人臉點云上的點及其對應的最近鄰的點剔除；

或，計算當前幀的人臉點云上的點及其對應的最近鄰的點之間的法向量夾角，如果歐氏距離大于第四閾值，則將當前幀的人臉點云上的點及其對應的最近鄰的點剔除。

8.根據權利要求5所述的方法，其特征在于，該方法還包括：當新的人臉點云生成后，將上一幀的人臉點云作為基準點云，并執行步驟51至53，估計最優旋轉矩陣R和最優平移向量t；

該方法還包括：初始化基準點云，具體包括記錄駕駛員模擬正常駕駛目視前方的姿態的人臉點云作為基準點云，基準點云指示頭部姿態為0的位置。