[發明專利]一種手勢位姿數據處理方法及存儲介質

有效

• 申請號: 202011527638.2
• 申請日: 2020-12-22
• 公開（公告）號: CN112527119B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 劉蓉;羊書杰;袁佳樂
• 申請（專利權）人: 南京航空航天大學;南京長空科技有限公司;南京浦口高新技術產業開發區管理委員會
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F17/17
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 朱遠楓

本發明公開了一種手勢位姿數據處理方法，包括獲取手部關鍵點的三維信息作為觀測信息；采用容積卡爾曼濾波器CKF對所述手勢姿態變換模型進行濾波估計獲得系統手勢姿態預測值，采用卡爾曼濾波器KF對位置運動模型進行濾波估計獲得系統位置狀態預測值；根據Huber M估計過程的原理修正利用CKF預測估計誤差的協方差矩陣；通過自適應系數加權過程修正器KF獲得的估計誤差的協方差矩陣；使用Huber M估計方法對卡爾曼濾波器KF和容積卡爾曼濾波器CKF方法中的觀測更新過程進行修正；將修正后的濾波估計值通過設定的數值關系轉換為所需的數據。本發明方法能減小未知工作條件的影響，有更好的自適應性和魯棒性。

技術領域

本發明涉及人機交互技術領域，具體涉及一種手勢位姿數據處理方法及存儲介質。

背景技術

人機交互技術是連接人和計算機之間的紐帶，提高人機之間協作效率的關鍵技術，隨著大部分人與計算機系統聯系，交互系統必須更接近于完成物理世界中相同的交互過程，這種方法被稱為自然交互，有助于產生這種體驗的設備被稱為自然交互設備，它們為所謂自然交互界面奠定了基礎，自然交互界面允許用戶以類似于通過肢體運動、手甚至聲音與現實世界互動的方式與機器互動,語言、觸摸或身體動作被用來控制設備，人與計算機之間用一個現實的方式處理虛擬或真實的對象。

手勢是人與外界常用的交流方式之一，是一種非常直觀的非接觸型交互方式，有三種能夠感應手勢的傳感器類型：基于安裝的傳感器，多點觸摸屏傳感器和基于視覺的傳感器。與第一種情況比，基于視覺的傳感器由于非接觸，使用時顯得不麻煩和不舒服,且能捕獲更多的信息；與第二種情況比,基于視覺的傳感器提供了更大的工作距離。隨著相機技術的發展,已經出現了精確的身體運動傳感輸入設備，如Microsoft Kinect，Leap motion和Intel RealSense。Leap Motion是一個小型的USB驅動設備,使用兩個單色紅外攝像機和三個紅外led燈，在大約一米的半球形3D空間中跟蹤手和手指的運動。Leap Motion一直是手勢識別中使用最廣泛的相機之一，因為它允許用戶像在現實生活中一樣自由行動.它的低成本和深度傳感器可以在任何環境光線下實時捕獲視頻并輸出骨骼數據，對于LeapMotion來說，手勢可以是任何簡單的手部運動，也可以是復雜的形狀。

在Leap Motion數據采集過程中，跟蹤手部動作姿態時難以避免傳感器存在的測量識別誤差，同時周圍環境存在的干擾，以及人手在操作過程產生的不必要的抖動都會導致測量數據往往會存在隨機誤差，目前關于Leap Motion數據尤其是手部姿態和三維位置數據的處理方法主要使用常見的卡爾曼濾波，擴展卡爾曼濾波，無跡卡爾曼濾波以及粒子濾波等方法，然而在這些方法的使用過程中沒有關于過程噪聲協方差矩陣和觀測噪聲協方差矩陣設定的討論，即沒有考慮未知噪聲分布特性和模型不準確可能導致的濾波發散的可能性。

發明內容

本發明的目的在于公開預測準確度高，抗干擾能力強和降噪能力強的一種手勢位姿數據處理方法。

為實現上述技術目的。本發明采用以下技術方案。

提供一種手勢位姿數據處理方法，包括：獲取手部關鍵點的三維信息作為觀測矩陣；構建系統狀態模型，所述系統狀態模型包括手勢姿態變換模型和位置運動模型；

采用容積卡爾曼濾波器CKF對所述手勢姿態變換模型進行濾波估計獲得系統手勢姿態預測值，采用卡爾曼濾波器KF對位置運動模型進行濾波估計獲得系統位置狀態預測值；

根據Huber M估計過程的原理修正利用中容積卡爾曼濾波器CKF獲得的所述手勢姿態變換模型預測估計誤差的協方差矩陣；通過自適應系數加權過程修正利用卡爾曼濾波器KF獲得的所述位置運動模型預測估計誤差的協方差矩陣；

使用Huber M估計方法對卡爾曼濾波器KF和容積卡爾曼濾波器CKF方法中的觀測更新過程進行修正，獲得修正后的手勢姿態狀態量和位置狀態量的濾波估計值；將修正后的濾波估計值通過設定的數值關系轉換為所需的數據。