[發明專利]一種多模式耦合的動作捕捉方法及裝置

有效

• 申請號: 201810282711.0
• 申請日: 2018-04-02
• 公開（公告）號: CN108364034B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 陳斌;袁帥;易超;陳遠秋
• 申請（專利權）人: 北京大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/80
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

本發明公布了一種多模式耦合的動作捕捉方法及裝置，獲取多種類型的動作捕捉數據，選擇數據的基準坐標系，將數據進行轉換，得到具有統一坐標系的數據；再對捕捉到的各類數據進行耦合優化；包括數據獲取過程、數據配準過程、數據耦合過程和數據發布過程。多模式耦合的動作捕捉裝置包括：動作捕捉設備、客戶端、服務端和數據接收客戶端；服務端包括數據接收器、數據解析與存儲器、數據配準器、數據融合優化器和數據發布模塊。通過本發明可獲得多種模式耦合的動作捕捉優化數據，滿足單用戶或多用戶協同操作的動作捕捉需求，有效提高虛擬與真實環境之間交互的效率，提升用戶沉浸感，可廣泛應用于諸多領域。

技術領域

本發明涉及動作捕捉技術領域，尤其涉及一種多種模式的動作捕捉耦合方法及裝置。

背景技術

動作捕捉技術可以獲取真實環境中的人或物的運動狀態和姿態，其思想萌芽普遍被認為是Fleischer在1915年發明的“Rotoscope”技術。更具現代意義上的動作捕捉技術產生于20世紀70年代后期，由心理學家Johansson在Moving?Light?Display實驗中提出。20世紀80年代，通過電腦實現的針對人體動作捕捉的研究開始出現，美國Biomechanics實驗室、MIT等高校先后對此進行了研究，推動了動作捕捉技術的發展，如1983年MIT研發出了一套叫做“Op-Eye”的圖形牽線木偶，這個牽線木偶充當了第一套“動作捕捉服裝”，引領了動作捕捉技術的風潮。20世紀90年代，人體姿態和動作識別、手指動作識別，以及人體和手部空間定位技術已經有所研究并得到一定程度的應用，以Tardif等人為代表的學者進一步推動了運動捕捉技術，使得該技術日趨發展成熟。21世紀以來，伴隨著計算機科學和傳感器技術快速發展，動作捕捉技術展現出強大的生命力，特別就近幾年來，動作捕捉技術最新發展為實現虛擬環境與真實環境之間的通信提供了可靠的技術保障，多種代表型的動作捕捉設備相繼問世，比如Motion?Analysis、HTC?Vive、Noitom、Kinect等，大大提升了用戶的沉浸感和人機交互效率，進一步拓展了其應用范圍。

從工作原理來看，目前主流的動作捕捉技術主要包括基于光學、基于慣性和基于計算機視覺等模式。不同模式的動作捕捉技術的性能各有優劣。三種主流動作捕捉模式在多對象捕捉能力、手指精細捕捉能力、定位精度和使用便捷性等方面比較結果如表1所示：

表1主流的動作捕捉模式的性能比較

可見，當前的動作捕捉技術明顯存在的問題包括：一是單模式的動作捕捉技術尚不能滿足對于用戶整體和局部肢體的綜合捕捉精度要求高的應用；二是單模式的動作捕捉技術在兼顧高定位精度和高便捷性等方面效果不理想，不能做到優勢互補；三是單模式的動作捕捉數據一旦出現丟失，則無法復原或彌補，影響用戶體驗。例如，采用現有的動作捕捉技術難以同時提供較高的多對象捕捉能力和手指精細捕捉能力，也難以滿足同時具備定位精度高和便捷性高的應用需求。

發明內容

為了克服上述現有技術的不足，本發明提供一種多模式耦合的動作捕捉方法及裝置，通過使用基于光學跟蹤、視覺識別、慣性測量等多種傳感器的多模式動作捕捉耦合技術，有效耦合基于不同模式的動作捕捉獲得的數據，實現不同模式技術的優勢互補，提高動作捕捉性能，可同時提供較高的多對象捕捉和手指精細捕捉能力，具有定位精度高、便捷性高的優點。

本發明首先通過多種模式的動作捕捉設備獲取多種類型的數據；然后以其中的某種模式的動作捕捉數據類型為基礎建立坐標系，將其它類型的數據進行轉換，建立統一的坐標系；最后對每個用戶捕捉到的各類數據進行耦合優化；當用戶使用任一種動作捕捉設備/模式時，捕捉獲得的是經過多種動作捕捉模式耦合的優化數據，從而使得動作捕捉操作具備多種動作捕捉模式的技術優勢。

本發明提供的技術方案如下：