[發(fā)明專利]一種基于視覺(jué)的雙手離開(kāi)方向盤檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010026699.4
• 申請(qǐng)日: 2020-01-10
• 公開(kāi)（公告）號(hào): CN111222477B
• 公開(kāi)（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 戚治舟;王漢超
• 申請(qǐng)（專利權(quán)）人: 廈門瑞為信息技術(shù)有限公司
• 主分類號(hào): G06V20/59
• 分類號(hào): G06V20/59;G06V10/25;G06V10/764
• 代理公司: 廈門創(chuàng)象知識(shí)產(chǎn)權(quán)代理有限公司 35232
• 代理人: 葉秀紅

本發(fā)明提供一種基于視覺(jué)的雙手離開(kāi)方向盤檢測(cè)方法，包括：收集樣本數(shù)據(jù)，之后對(duì)樣本數(shù)據(jù)進(jìn)行標(biāo)注，之后采用標(biāo)注后的樣本數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練及優(yōu)化，得到模型；將模型轉(zhuǎn)成ncnn下的模型；獲取駕駛員的紅外圖片，對(duì)圖片進(jìn)行處理后，輸入至模型中，對(duì)模型結(jié)果進(jìn)行解析獲取到方向盤位置，將方向盤區(qū)域擴(kuò)大并選擇設(shè)定的roi區(qū)域，把roi區(qū)域裁剪出來(lái)，同樣對(duì)裁剪后的圖片進(jìn)行處理，輸入到模型中判斷駕駛員雙手是否離開(kāi)方向盤，若駕駛員沒(méi)有一只手再方向盤上，則進(jìn)行告警；否，則不告警；本發(fā)明還提供一種裝置，能有效提高模型檢出率以及減少網(wǎng)絡(luò)輸入大小，更快的提高模型速度。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種基于視覺(jué)的雙手離開(kāi)方向盤檢測(cè)方法及裝置。

背景技術(shù)

司機(jī)在駕駛車輛時(shí)，有很多因素在干擾著安全駕駛，加上駕駛員不一定遵守交通法規(guī)和安全操作規(guī)程，如開(kāi)車接電話，抽煙等行為都會(huì)危害到乘客的安全。此時(shí)通過(guò)判斷司機(jī)雙手離開(kāi)方向盤時(shí)長(zhǎng)，可對(duì)司機(jī)進(jìn)行警告來(lái)糾正司機(jī)的不規(guī)范行為。就目前而言，司機(jī)雙手離開(kāi)方向盤的檢測(cè)方法主要有三種：

(1)基于方向盤扭矩信號(hào)：通過(guò)多個(gè)電動(dòng)轉(zhuǎn)向信號(hào)估計(jì)駕駛員扭矩狀態(tài)，使用扭矩狀態(tài)來(lái)確定駕駛員是否抓握方向盤，通過(guò)駕駛員扭矩狀態(tài)的幅值與高抓握扭矩閾值進(jìn)行比較來(lái)確定。該方法處理速度上比較有優(yōu)勢(shì)，但是缺點(diǎn)非常明顯，只能使用預(yù)先設(shè)置好的經(jīng)驗(yàn)閾值，魯棒性不好，適用范圍小。

(2)基于方向盤傳感器測(cè)量雙手壓力或溫度等方法：主要是通過(guò)硬件傳感器的能力，在方向盤周圍安裝傳感器，通過(guò)溫度或者壓力感應(yīng)來(lái)判斷雙手是否緊握方向盤。該方法處理速度上快，但是成本較高，而且會(huì)容易受到外界干擾因素，比較容易引起誤報(bào)。

(3)基于機(jī)器視覺(jué)的方法：隨著深度學(xué)習(xí)的發(fā)展，計(jì)算機(jī)機(jī)器視覺(jué)技術(shù)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)得到了快速發(fā)展。深度學(xué)習(xí)方法的最大優(yōu)點(diǎn)是通過(guò)卷積網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)任務(wù)需要的特征，在許多領(lǐng)域里，深度學(xué)習(xí)物體識(shí)別率上已經(jīng)能超過(guò)人眼。由于硬件設(shè)備計(jì)算能力的限制，效果優(yōu)秀的神經(jīng)網(wǎng)絡(luò)是需要足夠的算力，所以很多人工智能項(xiàng)目落地困難。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題，在于提供一種基于視覺(jué)的雙手離開(kāi)方向盤檢測(cè)方法及裝置，能有效提高模型檢出率以及減少網(wǎng)絡(luò)輸入大小，更快的提高模型速度。

第一方面，本發(fā)明提供了一種方法，包括：

步驟1、收集樣本數(shù)據(jù)，之后對(duì)樣本數(shù)據(jù)進(jìn)行標(biāo)注，之后采用標(biāo)注后的樣本數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練及優(yōu)化，得到模型；

步驟2、將模型轉(zhuǎn)成ncnn下的模型；

步驟3、獲取駕駛員的紅外圖片，對(duì)圖片進(jìn)行處理后，輸入至模型中，對(duì)模型結(jié)果進(jìn)行解析獲取到方向盤位置，將方向盤區(qū)域擴(kuò)大并選擇設(shè)定的roi區(qū)域，把roi區(qū)域裁剪出來(lái)，同樣對(duì)裁剪后的圖片進(jìn)行處理，輸入到模型中判斷駕駛員雙手是否離開(kāi)方向盤，若駕駛員沒(méi)有一只手再方向盤上，則進(jìn)行告警；否，則不告警。

進(jìn)一步地，所述步驟1進(jìn)一步具體為：通過(guò)車內(nèi)監(jiān)控?cái)z像頭收集駕駛員的紅外圖片，包括攝像頭在駕駛員正上方的圖片、攝像頭在車門頂部的圖片和網(wǎng)上爬取的方向盤圖片；

將收集的紅外圖片中的方向盤進(jìn)行標(biāo)注，獲取到方向盤的位置坐標(biāo)，將方向盤區(qū)域擴(kuò)大并選擇設(shè)定的roi區(qū)域后，裁剪下來(lái)后對(duì)該圖片進(jìn)行標(biāo)注，分別標(biāo)出司機(jī)手握緊方向盤的手坐標(biāo)、沒(méi)有握方向盤的手坐標(biāo)以及類別信息；

使用caffe框架來(lái)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，需要把標(biāo)注后的紅外圖片轉(zhuǎn)成caffe下的lmdb訓(xùn)練數(shù)據(jù)，方向盤檢測(cè)網(wǎng)絡(luò)和雙手離開(kāi)方向盤識(shí)別網(wǎng)絡(luò)都選擇MobileNet?v2-yolov3網(wǎng)絡(luò)，采用SGD優(yōu)化學(xué)習(xí)方法，設(shè)定學(xué)習(xí)率以及每次訓(xùn)練數(shù)據(jù)數(shù)量，并對(duì)不同輸入大小的圖片進(jìn)行數(shù)據(jù)增強(qiáng)操作，方向盤檢測(cè)網(wǎng)絡(luò)和雙手離開(kāi)方向盤識(shí)別網(wǎng)絡(luò)均訓(xùn)練設(shè)定次數(shù)后，網(wǎng)絡(luò)loss值穩(wěn)定并且收斂，之后對(duì)方向盤檢測(cè)網(wǎng)絡(luò)進(jìn)行剪枝優(yōu)化，最終得到訓(xùn)練好的模型。

進(jìn)一步地，所述步驟3進(jìn)一步具體為：