[發明專利]基于深度圖像和虛擬數據的駕駛人姿態識別方法

有效

• 申請號: 201810195342.1
• 申請日: 2018-03-09
• 公開（公告）號: CN108345869B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 劉柯柯;劉亞洲;孫權森
• 申請（專利權）人: 南京理工大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V10/764;G06V10/82;G06K9/62;G06T15/00;G06T13/40;G06N3/04;G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 王瑋

本發明公開了一種基于深度圖像和虛擬數據的駕駛人姿態識別方法，駕駛人關節點檢測：將駕駛人深度圖像和關節點標簽作為深度學習框架Caffe的輸入，訓練深度卷積神經網絡模型；利用深度學習模型檢測圖像中駕駛人的關節點位置。虛擬駕駛人頭部姿態數據集構建：利用三維建模軟件的建模功能Modeling構建駕駛人模型；利用動畫功能Animation設置駕駛人頭部運動；利用渲染功能Rendering批量渲染駕駛人圖像；對駕駛人圖像進行頭部分割處理，構建虛擬駕駛人頭部姿態數據集。駕駛人頭部姿態分析：利用由虛擬駕駛人頭部姿態數據集構建過程獲取的虛擬駕駛人頭部姿態數據，采用遷移學習的方法，訓練深度遷移學習模型；根據深度遷移學習模型，估計目標域圖像中駕駛人頭部姿態，并檢測其面部特征點位置。

技術領域

本發明涉及涉及計算機視覺和車輛輔助駕駛領域，更具體地說，涉及一種基于深度圖像和虛擬數據的駕駛人姿態識別方法。

背景技術

駕駛人姿態識別是車輛輔助駕駛領域中的一個重要的研究課題，是人體姿態識別技術在真實場景的應用?；趫D像的駕駛人姿態識別是指在一副給定駕駛人圖像中檢測駕駛人的上半身關節點、估計頭部姿態、以及檢測面部特征點。計算機可以對駕駛人姿態進行分析，最終實現對于駕駛人危險行為發出警告，達到提醒駕駛人的目的。

基于圖像的駕駛人姿態識別的輸入通常為可見光圖像。從圖像中提取人體各個部位特征，如顏色、邊緣、輪廓、形狀等，求解構造的人體模型的各種參數，或者直接學習構造人體特征與人體姿態之間的映射。然而，這種基于可見光圖像的人體姿態識別方法存在以下不足：其一，易受光照變化的影響，駕駛室光線明暗變化大，白天較亮，夜晚較暗，人體的外觀特征會變得不可辨識；其二，易受到復雜背景的影響，駕駛室環境復雜，極易與人體產生相似的紋理特征，產生誤檢。其三，人體的體型著裝差異變化多，人體關節自由度大，姿態變化多，對識別算法的準確性產生嚴重的影響。

基于圖像的駕駛人姿態識別過程中包括兩個關鍵步驟：特征提取和分類器(回歸器)訓練。特征提取是指提取圖像中最能描述人體姿態的信息。Yang Yi和Ramanan Deva提取人體各部位HOG特征，實現精確的關節點檢測和人體姿態估計。為了保證算法的精確性，必須提取魯棒的特征表示，所以需要大量的計算和測試工作。但是這些工作都由人工完成，不僅需要大量的時間，而且非常依賴每個人的經驗。分類器訓練是指在已確定的特征的基礎上，尋找一系列規則，用這些規則來判定當前圖像中人體的姿態。確定規則的過程稱為(機器)學習的過程，目前較主流的分類器(回歸器)包括支持向量機(SVM)、最大熵方法和基于Adaboost的方法。但是這些方法都是“淺層”的學習方法，只能學習單層特征，不能充分學習圖像的多層次結構的特征。

深度學習方法可以自動學習多層次結構的特征，但是深度模型訓練需要海量帶標簽數據的支持，才能充分挖掘數據更加本質的特征。而帶標簽數據的獲取通常是通過人工完成，這部分工作相當費時且標注誤差因人而異。目前，很多研究人員從合成虛擬數據中提取特征應用到真實世界的數據中，但很難消除虛擬數據特性與真實應用場景的差異。

發明內容

本發明的目的在于針對上述駕駛人姿態識別技術中，人工提取圖像特征費時低效，淺層學習方法不能學習圖像多層次結構特征，虛擬數據特性與真實應用場景差異較大的問題，提供一種基于深度圖像和虛擬數據的駕駛人姿態識別方法。

實現本發明目的的技術解決方案為：基于深度圖像的駕駛人姿態識別方法，包括駕駛人關節點檢測、虛擬駕駛人頭部姿態數據集構建和駕駛人頭部姿態分析三個過程：

駕駛人關節點檢測過程包括以下步驟：

1)將駕駛人深度圖像和關節點標簽作為深度學習框架Caffe的輸入，訓練深度卷積神經網絡模型；

2)利用檢測正確率最高的深度學習模型，檢測圖像中駕駛人的關節點位置。

虛擬駕駛人頭部姿態數據集構建過程包括以下步驟：