[發明專利]一種基于人臉三維重建的疲勞駕駛檢測方法及裝置

在審

• 申請號: 201911317293.5
• 申請日: 2019-12-19
• 公開（公告）號: CN113011213A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 王強;王萌萌;杜恒晨
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

1.一種基于人臉三維重建的疲勞駕駛檢測方法，其特征在于，所述方法包括：

獲取待檢測人臉視頻，所述待檢測人臉視頻包括多幀人臉圖像；

提取每幀人臉圖像中第一預設數量個人臉特征點；

根據每幀人臉圖像中每一人臉特征點的二維坐標，確定每幀人臉圖像中目標特征點的二維坐標；

將每幀人臉圖像中目標特征點的二維坐標轉換為目標特征點的三維坐標；

將多幀人臉圖像中目標特征點的三維坐標輸入至預設分類模型，得到針對所述待檢測人臉視頻的疲勞駕駛檢測結果；所述預設分類模型是基于預設訓練集訓練得到的模型，所述預設訓練集包括多個帶標簽的樣本人臉視頻和每一樣本人臉視頻對應的多個樣本特征點的三維坐標，所述標簽包括指示樣本人臉視頻為疲勞駕駛的人臉視頻的第一標簽，以及指示樣本人臉視頻為正常駕駛的人臉視頻的第二標簽。

2.根據權利要求1所述的方法，其特征在于，所述獲取待檢測人臉視頻的步驟，包括：

獲取左相機采集的第一待檢測人臉視頻，以及右相機采集的第二待檢測人臉視頻；

所述提取每幀人臉圖像中第一預設數量個人臉特征點的步驟，包括：

利用深度學習算法，提取所述第一待檢測人臉視頻中每幀人臉圖像中第一預設數量個人臉特征點，并提取所述第二待檢測人臉視頻中每幀人臉圖像中第一預設數量個人臉特征點。

3.根據權利要求2所述的方法，其特征在于，所述根據每幀人臉圖像中每一人臉特征點的二維坐標，確定每幀人臉圖像中目標特征點的二維坐標的步驟，包括：

確定所述第一待檢測人臉視頻與所述第二待檢測人臉視頻中每幀人臉圖像中的人臉特征點的對應關系；

利用雙目特征點立體匹配算法，確定第一目標視頻中每幀人臉圖像中每一人臉特征點在第二目標視頻中的參照二維坐標，所述第一目標視頻為所述第一待檢測人臉視頻或所述第二待檢測人臉視頻，所述第二目標視頻為所述第一待檢測人臉視頻和所述第二待檢測人臉視頻中除所述第一目標視頻外的視頻；

根據所述第一目標視頻中每幀人臉圖像中每一人臉特征點在所述第二目標視頻中對應的人臉特征點的二維坐標，以及所述第一目標視頻中每一人臉特征點在所述第二目標視頻中的參照二維坐標，確定每幀人臉圖像中目標特征點的二維坐標。

4.根據權利要求3所述的方法，其特征在于，所述根據所述第一目標視頻中每一人臉圖像中每一人臉特征點在所述第二目標視頻中對應的人臉特征點的二維坐標，以及所述第一目標視頻中每幀人臉圖像中每一人臉特征點在所述第二目標視頻中的參照二維坐標，確定每幀人臉圖像中目標特征點的二維坐標的步驟，包括：

針對所示第一目標視頻中每幀人臉圖像中每一人臉特征點，計算該幀人臉圖像中該人臉特征點在所述第二目標視頻中對應的人臉特征點的二維坐標和在所述第二目標視頻中參照二維坐標之間的距離；

根據計算得到的距離，從多個人臉特征點中，確定每幀人臉圖像中目標特征點以及目標特征點的二維坐標。

5.根據權利要求4所述的方法，其特征在于，所述根據計算得到的距離，從多個人臉特征點中，確定每幀人臉圖像中目標特征點以及目標特征點的二維坐標的步驟，包括：

針對第一目標視頻中的每幀人臉圖像，獲取該幀人臉圖像中滿足預設條件的第二預設數量個人臉特征點的二維坐標，作為該幀人臉圖像中目標特征點的二維坐標；

其中，所述預設條件為計算得到的距離最小；或所述預設條件為計算得到的距離最小，且所述人臉特征點的預設重要性最高。

6.根據權利要求5所述的方法，其特征在于，位于眼睛區域的人臉特征點的預設重要性高于位于嘴部區域的人臉特征點的預設重要性，位于嘴部區域的人臉特征點的預設重要性高于位于臉部輪廓區域的人臉特征點的預設重要性。