[發明專利]基于深度圖像和虛擬數據的駕駛人姿態識別方法

有效

• 申請號: 201810195342.1
• 申請日: 2018-03-09
• 公開（公告）號: CN108345869B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 劉柯柯;劉亞洲;孫權森
• 申請（專利權）人: 南京理工大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V10/764;G06V10/82;G06K9/62;G06T15/00;G06T13/40;G06N3/04;G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 王瑋

1.一種基于深度圖像和虛擬數據的駕駛人姿態識別方法，其特征在于：包括駕駛人關節點檢測、虛擬駕駛人頭部姿態數據集構建和駕駛人頭部姿態分析三個過程；

駕駛人關節點檢測過程，包括以下步驟：

1)將駕駛人深度圖像和關節點標簽作為深度學習框架Caffe的輸入，訓練深度卷積神經網絡模型；

2)利用檢測正確率最高的深度學習模型，檢測圖像中駕駛人的關節點位置；

虛擬駕駛人頭部姿態數據集構建過程，包括以下步驟：

3)利用三維建模軟件的建模功能Modeling構建駕駛人模型；

4)利用三維建模軟件的動畫功能Animation設置駕駛人頭部運動；

5)利用三維建模軟件的渲染功能Rendering批量渲染駕駛人圖像；

6)對駕駛人圖像進行頭部分割處理，構建虛擬駕駛人頭部姿態數據集；包括以下具體步驟：

61)根據帶面部特征點標簽的圖像和面部特征點坐標信息，確定駕駛人頭部位置；

62)分割駕駛人彩色圖像和深度圖像，提取駕駛人頭部圖像，構建虛擬駕駛人頭部姿態數據集；提取的駕駛人頭部圖像大小為100×100，同時將頭部姿態角度和面部特征點坐標歸一化寫入txt文件中；

駕駛人頭部姿態分析過程，包括以下步驟：

7)利用由虛擬駕駛人頭部姿態數據集構建過程獲取的虛擬駕駛人頭部姿態數據，采用遷移學習的方法，訓練深度遷移學習模型；包括以下具體步驟：

71)將步驟62)獲取的虛擬駕駛人頭部姿態數據集作為遷移學習的源域，將大量無標注的真實駕駛人頭部姿態數據和少量帶有標簽的真實數據作為目標域；采用深度遷移學習的方法解決虛擬數據與真實數據之間的特性差異；源域用χ_s＝{(x_si,y_si)|i＝1,2,...,N_s}表示，其中N_s表示源域樣本數量，x_si表示駕駛人頭部深度圖像，y_si表示x_si的頭部姿態空間角度和面部特征點空間位置坐標；目標域中帶標注樣本定義為χ_t＝{(x_ti,y_ti)|i＝1,2,...,N_t}，采用直推式遷移學習的方法進行特征遷移；

72)將源域數據作為訓練集，將帶標簽的目標域數據作為測試集，轉化為HDF5格式，作為深度學習框架Caffe的輸入；

73)采用多個卷積層、池化層、全連接層構建深度遷移學習網絡；利用深度遷移學習網絡初始網絡權重參數和偏置參數；網絡結構包含一個輸入層、多個中間層和一個輸出層；每一層表示為一個非線性映射的過程，樣本x在第m層的輸出計算公式如下：

其中，表示網絡的m層和m-1層之間的權重矩陣，表示偏移參數，p^(m)表示m層的節點數目，表示非線性激勵函數，使用tanh、sigmoid或者ReLU函數；在第一層，假設h⁽⁰⁾＝x，p⁽⁰⁾＝d；在中間隱含層的特征空間中，任意兩個樣本之間的距離度量通過平方歐氏距離來表示，計算公式如下：

采用最大平均差異衡量源域與目標域在第m層的分布差異，計算公式如下：

此時，深度遷移學習網絡的中間層m的損失函數定義為：

其中，α(α0)、γ(γ＞0)和β表示正則化參數；||Z||_F表示矩陣Z的Frobenius范數；表示數據的緊致性度量，用表示數據的可分性度量；采用隨機梯度下降方法來優化得到參數W^(m)和b^(m)；

聯合優化網絡隱含層與最高層的損失函數，計算整個網絡的目標函數，計算公式如下：

其中，

其中，J^(m)和J^(M)分別表示第m(m＝1,2,...,M-1)層的損失函數和最高層的損失函數；函數h(x)＝max(x,0)用于測量損失；τ^(m)表示正閾值，用于控制第m層損失函數J^(m)，表示其在學習過程中的重要性；ω^(m)用于平衡最高層與隱含層的損失重要性；在學習過程中，如果第m層損失函數小于閾值τ^(m)，式(5)的第二項為0，采用梯度下降方法來迭代更新參數W^(m)和b^(m)，直到網絡達到終止條件；

74)采用平方差損失函數微調深度遷移學習網絡，訓練深度遷移學習網絡模型；

75)選擇檢測準確率最高的模型，測試真實駕駛人頭部圖像；

76)從測試結果中，如果圖像中駕駛人關節點坐標和頭部姿態角度與真實值的差值小于設定的閾值，將該圖像選為可信度高的圖像，加入目標域數據中，擴充數據量；

77)返回步驟72)，迭代更新深度遷移學習網絡，直至收斂；

8)根據深度遷移學習模型，估計目標域圖像中駕駛人頭部姿態，并檢測其面部特征點位置。