[發明專利]基于目標和關鍵點檢測的低光照駕駛員分心檢測方法

在審

• 申請號: 202310244039.7
• 申請日: 2023-03-15
• 公開（公告）號: CN116434202A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 梁軍;馬皓月;張智源;王文海
• 申請（專利權）人: 浙江大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V20/40;G06V40/16;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于目標和關鍵點檢測的低光照駕駛員分心檢測方法，該方法將駕駛員視頻序列截取為圖像，針對圖像進行光照增強操作，從而提升圖像的亮度；在獲得高亮度的駕駛員圖像后，使用基于yolov7的目標和關鍵點聯合檢測網絡對圖像中駕駛員的人臉及其關鍵點、電話及其關鍵點和水杯及其關鍵點進行識別；在獲得關鍵點和目標信息后，再根據駕駛員人臉及其關鍵點信息計算人臉姿態，并以此判斷駕駛員是否存在認知分心或視覺分心或混合分心情況。本發明實現了低光照的駕駛員分心檢測，其實現方法簡便，手段靈活，有效解決了低光照駕駛員圖像不足問題，提高分心檢測的準確率。

技術領域

本發明涉及計算機網絡技術領域，尤其涉及一種基于目標和關鍵點檢測的低光照駕駛員分心檢測方法。

背景技術

駕駛員分心是導致交通事故的一大重要原因，據公路管理局研究發現約65％的臨界碰撞和80％的車輛碰撞是由駕駛員分心導致的，因此有效的分心檢測方法能夠在早期發現交通隱患，從而降低交通風險。通過光照增強可以對低光照圖像亮度進行增強；通過目標檢測識別圖像中關鍵物品，如人臉、電話、水杯等。目標檢測的結果可以用于判斷駕駛員是否處于分心狀態。

但是，目前的駕駛員分心檢測方法幾乎沒有考慮到采集到的圖像低光照問題?，F實中，駕駛員可能需要在不同的天氣狀況或者時間段進行駕駛任務，如陰天、夜晚等，導致采集到的圖像信噪比大、對比度低，從而給分心檢測帶來困難，導致機器視覺識別性能的降低。

目前的駕駛員分心檢測僅對視覺分心進行檢測，沒有考慮到分心行為有不同的細分，比如視線離開駕駛任務的視覺分心和認知離開駕駛任務的認知分心。對駕駛員不同分心類型的識別。

現有的目標檢測僅能夠獲取目標的回歸框，不能對目標的關鍵點進行識別。但在人臉識別等任務中，除了人臉的回歸框，人臉的關鍵點也提供了許多重要的信息。

發明內容

本發明的目的在于針對現有技術的不足，提供一種基于目標和關鍵點檢測的低光照駕駛員分心檢測方法。

本發明的目的是通過以下技術方案來實現的：本發明實施例第一方面提供了一種基于目標和關鍵點檢測的低光照駕駛員分心檢測方法，包括以下步驟：

(1)使用車載攝像設備采集駕駛員駕駛視頻；

(2)截取所述步驟(1)采集到的駕駛視頻，以獲取駕駛圖像；構建低光照增強網絡并進行訓練，以獲取訓練好的低光照增強網絡；根據訓練好的低光照增強網絡對駕駛圖像進行光照增強處理，以獲取光照增強后的增強圖像；

(3)確定人臉、電話和水杯三類目標的關鍵點；構建基于yolov7目標和關鍵點的聯合檢測網絡并進行訓練，以獲取訓練好的聯合檢測網絡；根據訓練好的聯合檢測網絡對所述步驟(2)獲取的光照增強后的增強圖像進行處理，以獲取增強圖像中人臉、電話、水杯的目標框以及關鍵點所對應的輸出結果；

(4)對所述步驟(3)獲取的目標框以及關鍵點所對應的輸出結果進行判斷，以獲取駕駛員的視覺分心計數和認知分心計數；

(5)將所述步驟(4)獲取的分心計數與所設置的分心計數閾值進行比較，當視覺分心計數大于所設置的視覺分心計數閾值時，則將駕駛員的視覺分心標志置一；當認知分心計數大于所設置的認知分心計數閾值時，將駕駛員的認知分心標志置一；

(6)根據所述步驟(5)獲取的視覺分心標志和認知分心標志進行判斷，以獲取駕駛員對應的分心類型；所述分心類型包括視覺分心、認知分心和混合分心。

可選地，所述步驟(2)包括以下子步驟：

(2.1)按照2幀每秒的頻率截取所述步驟(1)采集到的駕駛視頻，以獲取駕駛圖像；

(2.2)構建低光照增強網絡，所述低光照增強網絡包括前后對稱的7個CNN卷積層，每層所述卷積層包括32個卷積核，所述卷積核的大小為3×3，每層所述卷積層連接有ReLU激活函數；