[發明專利]一種基于不完備特征的頭部姿態跟蹤裝置及方法

有效

• 申請號: 201711286561.2
• 申請日: 2017-12-07
• 公開（公告）號: CN107909061B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 陳東義;黃志奇;趙明皓
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06T5/00;G06T17/00;G06T19/20;G06T7/246
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

本發明公開了一種基于不完備特征的頭部姿態跟蹤裝置及方法，基于計算機視覺的頭部姿態檢測系統，對實時采集的視頻流進行歸一化處理，然后通過CNN訓練的模型進行特征確認是否有面部，如檢測面部失敗，則通過訓練過的對抗網絡模型將面部特征不完整的部分進行補全；在視頻中跟蹤人臉的位置，然后通過受稀疏約束的模型來標記面部特征點位置，利用PnP算法得出頭部姿態的Pitch、Yaw、Roll三個角度值[θ_xθ_yθ_z]，再發送給隨動云臺，因而，本發明能夠提供準確的頭部位置姿態信息，實時性高且魯棒性好。

技術領域

本發明屬于目標檢測跟蹤和遠程控制技術領域，更為具體地講，涉及一種基于不完備特征的頭部姿態跟蹤裝置及方法。

背景技術

頭部姿態檢測廣泛應用于虛擬現實與人機交互、智能機器人控制和疲勞駕駛檢測等領域。

統計數據表明，25％—30％的道路交通事故是由駕駛人注意力分散造成的。研究駕駛人的頭部姿態，進而對駕駛人的注意力進行分析，對于降低交通事故的發生率。因此，頭部姿態檢測對于分析駕駛人的駕駛行為、駕駛人的精神狀態等具有重要意義。

虛擬現實應用是一個高度逼真地模擬人在自然環境中的視、聽、動等行為的人機交互技術。虛擬現實的交互是通過人類自然技能與虛擬環境進行交互觀察與操作，這種操作涉及視覺、聽覺、觸覺等多種感知功能。利用頭部姿態檢測與跟蹤技術的人機交互系統能使現實世界與虛擬世界建立有機聯系，構建更加逼真的虛擬現實環境，同時也有助于對高級的主動視覺反饋系統的研究

智能移動服務機器人是頭部姿態檢測的重要應用領域，智能輪椅作為一種具有代表性的智能移動服務機器人，是當前研究的熱點。但是在目前應用的電動輪椅中，使用者還是主要靠操縱桿或按鈕來手動控制輪椅的運動，而對于一些嚴重殘疾人士如四肢癱瘓者，搖桿控制以及部分肢體控制例如手勢控制等方法受到了很大的制約，因此，頭勢控制作為一種新型的人機交互方式成為了近年來研究的熱點。

目前采用的頭部姿態檢測方法分為以下幾類：

1、佩戴運動傳感器方法：此類方法通過在測試對象頭部安裝加速度計和陀螺儀傳感器，通過接收傳感器運動數據判斷頭姿，此類方法但需要佩戴裝置，用戶體驗較差，且存在零度漂移問題，每次使用之前需要校準，操作繁瑣。

2、LED標定方法：通過佩戴有一定數量LED的頭套，利用攝像頭捕捉頭套圖像，再根據LED的位置判斷當前的位置，同樣，此方法精度高，但仍需佩戴裝置并且進行校準。

3、基于圖像的人臉頭部姿態估計算法：主要分為基于模型的方法和基于人臉表觀的方法。其中，基于模型的方法實現簡單、計算高效準確、易于理解，由于受非約束壞境中的投影幾何形變、背影光照變化、前景遮擋問題和低分辨率等因素的影響，而準確的特征點檢測在姿態變化較大，光線條件不好的條件下仍然是一個急待解決的挑戰。使得不完備特征情況下的頭部姿態多自由度估計一直是一個亟需解決的問題。

為了解決上述方法存在的問題，本發明采用計算機視覺與傳感器融合檢測頭部姿態的方法，并利用深度學習解決不完備特征時目標跟蹤不準確的問題，利用深度卷積神經網絡解決頭部姿態檢測中受非約束壞境中的投影幾何形變、背影光照變化、前景遮擋問題和低分辨率等問題，較為準確地實現不完備特征情況下的頭部姿態多自由度估計。

同時控制攝像頭跟隨操作人員頭部姿態進行現場視頻采集，解決操作復雜等問題，采用雙目視覺攝像頭，模擬人眼解決視場小、缺乏深度信息等問題。采取環幕顯示與VR頭盔顯示等不同顯示方法，對不同的檢測方案與不同的需求提供解決方案。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于不完備特征的頭部姿態跟蹤裝置及方法，基于深度學習的頭部姿態識別和不完備特征的頭部姿態識別，提供準確的頭部位置姿態信息，實時性高且魯棒性好。