[發明專利]基于多相機的裸手追蹤顯示方法、裝置及系統

在審

• 申請號: 202110190108.1
• 申請日: 2021-02-18
• 公開（公告）號: CN112927259A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 吳濤
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 王迎;袁文婷

本發明提供一種基于多相機的裸手追蹤顯示方法、裝置及系統，其中的方法包括：確定與各追蹤相機分別對應的當前幀的待檢測幀圖像；根據待檢測幀圖像、待檢測幀圖像的上一幀圖像的跟蹤信息，獲取與待檢測幀圖像對應的手部位置的跟蹤信息以及預設個數的骨骼點的二維坐標；根據二維坐標以及預先獲取的與手部位置對應的頭部位置的跟蹤數據，確定預設個數的骨骼點的三維坐標；對骨骼點的三維坐標和上一幀圖像中的歷史三維坐標進行平滑濾波處理，獲取處理后的穩定骨骼點；對穩定骨骼點和頭部位置的跟蹤數據依次進行融合、渲染及顯示處理，以完成手部位置的追蹤和顯示。利用上述發明能夠高精度、高穩定性的還原裸手在虛擬場景中的姿態位置。

技術領域

本發明涉及圖像檢測技術領域，更為具體地，涉及一種基于多相機的裸手追蹤顯示方法、裝置及系統。

背景技術

目前，VR/AR/MR一體機設備越來越多的進入到人們生活中，其主要的應用場景是當用戶進行VR/AR/MR場景交互時，通過頭戴上的多目追蹤攝像頭自動識別跟蹤用戶手一些行為軌跡信息，并通過手的一些行為軌跡檢測手勢指令，然后作為人造虛擬現實系統的輸入信息，和虛擬場景進行交互。

其中，手勢識別在VR/AR/MR領域非常關鍵，特別是在VR虛擬游戲交互中，對精度、延時和環境的兼容穩定性要求比較高，目前在VR/AR/MR領域的手勢識別中，大都停留在通過紅外雙目相機，或者深度相機實現，例如，占據主流地位的Inside-Out追蹤方案，即通過頭戴上一個或者二個及以上的可見光Camera通過實時追蹤和感知外部環境，而且實時估計頭戴在空間中的位置和姿態信息，進行手勢識別。一般為了提高頭戴的位置和姿態信息估計的準確度，主流方案是通過2個或者多個可見光Camera實時追蹤頭部位姿進行進行實時高進度追蹤。

可知，現有的頭戴一體機需要額外增加手勢識別追蹤器，目前主要是單獨添加2個紅外雙目相機，或者深度相機來實現手指追蹤，但是在VR/AR/MR領域，這樣會帶來幾個關鍵問題：

1.增加了額外的成本。2.增加了額外的功耗，現在主流的頭戴都是一體機形式，主要通過電池自主供電，所以整個系統的功耗非常影響用戶交互的時間長短。3.在增加功耗的同時，散熱也會成為一個很大的挑戰。4.增加了結構設計的復雜度和ID的挑戰。頭戴一體機主要發展方向目標就是頭戴體積小巧，配戴輕便，用戶長時間佩戴不覺得有不適感。5.目前比較成熟和流行的深度相機FOV一般比較小在80°左右，而頭戴的FOV一般在110°左右，即手的一些運動軌跡很容易會追蹤不到，影響用戶體驗。

發明內容

鑒于上述問題，本發明的目的是提供一種基于多相機的裸手追蹤顯示方法、裝置及系統，以解決目前手勢識別或追蹤存在的成本高、功耗高、體積大，精測準確度低，影響用戶體驗等問題。

本發明提供的基于多相機的裸手追蹤顯示方法，包括：分別獲取多個追蹤相機的待檢測視頻的幀圖像信息，并根據幀圖像信息確定與各追蹤相機分別對應的當前幀的待檢測幀圖像；根據待檢測幀圖像、待檢測幀圖像的上一幀圖像的跟蹤信息，以及預設的模塊執行順序，選擇性的啟動檢測模塊、跟蹤模塊和骨骼點識別模塊，以獲取與待檢測幀圖像對應的手部位置的跟蹤信息以及預設個數的骨骼點的二維坐標；根據二維坐標，以及預先獲取的與手部位置對應的頭部位置的跟蹤數據，確定預設個數的骨骼點的三維坐標；對骨骼點的三維坐標和上一幀圖像中的同一手部位置的歷史三維坐標進行平滑濾波處理，獲取處理后的手部位置的穩定骨骼點；對穩定骨骼點和頭部位置的跟蹤數據依次進行融合、渲染及顯示處理，以完成手部位置的追蹤和顯示。

此外，優選的技術方案是，根據待檢測幀圖像以及待檢測幀圖像的上一幀圖像的檢測結果，選擇性的啟動檢測模塊、跟蹤模塊和骨骼點識別模塊的過程包括：基于上一幀圖像的跟蹤信息，獲取上一幀圖像中檢測到的手部位置的個數；其中，當手部位置的個數小于2時，同時啟動檢測模塊、跟蹤模塊和骨骼點識別模塊；否則，當手部位置的個數為2時，同時啟動跟蹤模塊和骨骼點識別模塊。