[發(fā)明專利]基于目標(biāo)和關(guān)鍵點(diǎn)檢測(cè)的低光照駕駛員分心檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310244039.7
• 申請(qǐng)日: 2023-03-15
• 公開(kāi)（公告）號(hào): CN116434202A
• 公開(kāi)（公告）日: 2023-07-14
• 發(fā)明（設(shè)計(jì)）人: 梁軍;馬皓月;張智源;王文海
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06V20/59
• 分類號(hào): G06V20/59;G06V20/40;G06V40/16;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

1.一種基于目標(biāo)和關(guān)鍵點(diǎn)檢測(cè)的低光照駕駛員分心檢測(cè)方法，其特征在于，包括以下步驟：

(1)使用車載攝像設(shè)備采集駕駛員駕駛視頻；

(2)截取所述步驟(1)采集到的駕駛視頻，以獲取駕駛圖像；構(gòu)建低光照增強(qiáng)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練，以獲取訓(xùn)練好的低光照增強(qiáng)網(wǎng)絡(luò)；根據(jù)訓(xùn)練好的低光照增強(qiáng)網(wǎng)絡(luò)對(duì)駕駛圖像進(jìn)行光照增強(qiáng)處理，以獲取光照增強(qiáng)后的增強(qiáng)圖像；

(3)確定人臉、電話和水杯三類目標(biāo)的關(guān)鍵點(diǎn)；構(gòu)建基于yolov7目標(biāo)和關(guān)鍵點(diǎn)的聯(lián)合檢測(cè)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練，以獲取訓(xùn)練好的聯(lián)合檢測(cè)網(wǎng)絡(luò)；根據(jù)訓(xùn)練好的聯(lián)合檢測(cè)網(wǎng)絡(luò)對(duì)所述步驟(2)獲取的光照增強(qiáng)后的增強(qiáng)圖像進(jìn)行處理，以獲取增強(qiáng)圖像中人臉、電話、水杯的目標(biāo)框以及關(guān)鍵點(diǎn)所對(duì)應(yīng)的輸出結(jié)果；

(4)對(duì)所述步驟(3)獲取的目標(biāo)框以及關(guān)鍵點(diǎn)所對(duì)應(yīng)的輸出結(jié)果進(jìn)行判斷，以獲取駕駛員的視覺(jué)分心計(jì)數(shù)和認(rèn)知分心計(jì)數(shù)；

(5)將所述步驟(4)獲取的分心計(jì)數(shù)與所設(shè)置的分心計(jì)數(shù)閾值進(jìn)行比較，當(dāng)視覺(jué)分心計(jì)數(shù)大于所設(shè)置的視覺(jué)分心計(jì)數(shù)閾值時(shí)，則將駕駛員的視覺(jué)分心標(biāo)志置一；當(dāng)認(rèn)知分心計(jì)數(shù)大于所設(shè)置的認(rèn)知分心計(jì)數(shù)閾值時(shí)，將駕駛員的認(rèn)知分心標(biāo)志置一；

(6)根據(jù)所述步驟(5)獲取的視覺(jué)分心標(biāo)志和認(rèn)知分心標(biāo)志進(jìn)行判斷，以獲取駕駛員對(duì)應(yīng)的分心類型；所述分心類型包括視覺(jué)分心、認(rèn)知分心和混合分心。

2.根據(jù)權(quán)利要求1所述的基于目標(biāo)和關(guān)鍵點(diǎn)檢測(cè)的低光照駕駛員分心檢測(cè)方法，其特征在于，所述步驟(2)包括以下子步驟：

(2.1)按照2幀每秒的頻率截取所述步驟(1)采集到的駕駛視頻，以獲取駕駛圖像；

(2.2)構(gòu)建低光照增強(qiáng)網(wǎng)絡(luò)，所述低光照增強(qiáng)網(wǎng)絡(luò)包括前后對(duì)稱的7個(gè)CNN卷積層，每層所述卷積層包括32個(gè)卷積核，所述卷積核的大小為3×3，每層所述卷積層連接有ReLU激活函數(shù)；

(2.3)根據(jù)輸入圖像及其像素坐標(biāo)，構(gòu)建亮度增強(qiáng)曲線函數(shù)，并對(duì)亮度增強(qiáng)曲線函數(shù)進(jìn)行多次迭代，以獲取迭代后的亮度增強(qiáng)曲線函數(shù)；

(2.4)根據(jù)迭代后的亮度增強(qiáng)曲線函數(shù)確定低光照增強(qiáng)網(wǎng)絡(luò)的損失函數(shù)，其中，低光照增強(qiáng)網(wǎng)絡(luò)的損失函數(shù)包括空間一致性損失函數(shù)L_spa、曝光控制損失函數(shù)L_exp、色彩恒定性損失函數(shù)L_col和光照平滑度損失函數(shù)

(2.5)根據(jù)低光照增強(qiáng)網(wǎng)絡(luò)的損失函數(shù)使用DARK?FACE數(shù)據(jù)集對(duì)低光照增強(qiáng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以獲取訓(xùn)練好的低光照增強(qiáng)網(wǎng)絡(luò)；

(2.6)將所述步驟(2.1)獲取的駕駛圖像輸入到訓(xùn)練好的低光照增強(qiáng)網(wǎng)絡(luò)中，以獲取光照增強(qiáng)后的增強(qiáng)圖像。

3.根據(jù)權(quán)利要求2所述的基于目標(biāo)和關(guān)鍵點(diǎn)檢測(cè)的低光照駕駛員分心檢測(cè)方法，其特征在于，所述迭代后的亮度增強(qiáng)曲線函數(shù)表示為：

LE_n(x＝LE_n-1(x+A_nLE_n-1(x(1LE_n-1(x)

其中，LE_n(x表示第n次迭代后的增強(qiáng)后的亮度，x表示輸入圖像的像素坐標(biāo)，A_n表示像素點(diǎn)像素參數(shù)。