[發明專利]基于深度卷積神經網絡的前方車輛半遮擋人體的檢測方法

在審

• 申請號: 201811073595.8
• 申請日: 2018-09-14
• 公開（公告）號: CN109409215A
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 黃文愷;黃俊鋒;余偉霖;陳朝政;王冬;陳杰勇;吳羽
• 申請（專利權）人: 廣州大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 裘暉;林梅繁

1.基于深度卷積神經網絡的前方車輛半遮擋人體的檢測方法，其特征在于，包括以下步驟：

(一)、進行卷積神經網絡模型的訓練，包括：

S1-1、創建司乘人員在車前伸出半遮擋人體的數據集，將數據集劃分為訓練集、測試集和驗證集；

S1-2、進行圖像數據的預處理工作，對訓練集、測試集和驗證集中的圖像進行標注；

S1-3、重構同車道或近車道車前半遮擋人體伸出的檢測數據庫，構建ImageNet及YOLOv3檢測框架的聯合數據庫以對訓練集進行分類學習，進而創建預訓練模型，預訓練模型包括同車道或近車道車前半遮擋人體伸出的檢測模型及對齊模型；

S1-4、對于同車道或近車道車前半遮擋人體伸出的檢測模型，使用mAP進行衡量；

S1-5、對于同車道或近車道車前半遮擋人體伸出的對齊模型，使用歐拉損失進行衡量；

S1-6、使用所述測試集測試所述預訓練模型的泛化能力，得到訓練好的卷積神經網絡模型；

(二)、在車輛行駛時，訓練好的卷積神經網絡模型對車輛前方的視頻數據流進行卷積神經網絡計算的輸出，實時識別同車道或近車道車前半遮擋人體伸出的危險圖像。

2.根據權利要求1所述的基于深度卷積神經網絡的前方車輛半遮擋人體的檢測方法，其特征在于，步驟S1-2中，對訓練集、測試集和驗證集中的圖像進行標注為：收集圖像上同車道或近車道車前半遮擋人體伸出來的坐標信息(x,y,w,h)和同車道或近車道車前半遮擋人體伸出關鍵點的坐標信息(xi，yi)；其中(x，y)代表同車道或近車道車前半遮擋人體的身體部位在圖像上的坐標，(w，h)代表同車道或近車道車前半遮擋人體的身體部位在圖像上的寬度和高度。

3.根據權利要求2所述的基于深度卷積神經網絡的前方車輛半遮擋人體的檢測方法，其特征在于，步驟S1-3中，通過ImageNet創建同車道或近車道車前半遮擋人體伸出的檢測模型，并通過YOLO v3檢測框架創建同車道或近車道車前半遮擋人體伸出的對齊模型，并通過損失函數來提高同車道或近車道車前半遮擋人體伸出的檢測模型的魯棒性。

4.根據權利要求3所述的基于深度卷積神經網絡的前方車輛半遮擋人體的檢測方法，其特征在于，所述損失函數采用logistic回歸損失函數。

5.根據權利要求3所述的基于深度卷積神經網絡的前方車輛半遮擋人體的檢測方法，其特征在于，所述YOLO v3檢測框架將整個圖像劃分為s*s個網格單元，每個網格單元回歸n個圖像邊框，每個圖像邊框都包含5個預測值：x、y、w、h和置信度confidence，其中(x,y)作為圖像邊框的中心坐標，與網格單元對齊；而每個圖像邊框對應置信度回歸、位置回歸、關鍵點回歸。

6.根據權利要求5所述的基于深度卷積神經網絡的前方車輛半遮擋人體的檢測方法，其特征在于，所述關鍵點包括：手部7個關鍵點，分別為拇指、中指、尾指、手心、手腕關節處、肘部彎曲位置及肱二頭肌；頭部6個關鍵點，分別為眼睛、鼻子、嘴巴、耳朵及額頭中心點；腳部5個關鍵點，分別為腳腕、腳趾、腳掌中心、腳背及膝蓋。

7.根據權利要求1所述的基于深度卷積神經網絡的前方車輛半遮擋人體的檢測方法，其特征在于，步驟(二)包括：

S2、將訓練好的卷積神經網絡模型導入處理器中，連接上車載攝像頭；

S3、在車輛行駛時，車載攝像頭實時地將車輛前方的視頻數據流傳送給處理器，由處理器中的卷積神經網絡模型進行卷積神經網絡計算的輸出，用處理器中的opencv可視化函數庫實時識別同車道或近車道車前半遮擋人體伸出的危險圖像。