[發明專利]一種懸浮真3D顯示多人手勢交互系統

在審

• 申請號: 202210390548.6
• 申請日: 2022-04-14
• 公開（公告）號: CN115390658A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 王瓊華;林星雨;李偉澤;王童語;邢妍;段薇
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0481;G06T19/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出一種懸浮真3D顯示多人手勢交互系統，其由光場3D顯示屏、懸浮器件、手勢數據采集設備和計算機構成，系統共包括3個模塊：顯示模塊、交互模塊和處理模塊。所述系統有益效果在于，能夠根據交互通道機制檢查各物體能否參與交互，檢查通過后將懸浮3D圖像和手勢的坐標系按特定規則統一，實現懸浮真3D顯示下多種方式的準確的手勢交互。其既可以實現多人對多3D物體的獨立交互，也可以實現場景局部整體交互或場景全局整體交互，具有自然真實的交互體驗。

技術領域

本發明涉及一種人機交互系統，具體涉及一種懸浮真3D顯示多人手勢交互系統。

背景技術

集成成像是一種裸眼真3D顯示技術，結合懸浮器件，能夠將3D圖像成像在空中，實現懸浮真3D顯示。這種顯示技術既能提供2D顯示不具備的深度信息，增強真實感，又不會引起人眼輻輳調節沖突，能夠有效緩解視覺疲勞。人機交互是人與計算機之間通過特定語言進行信息交流的過程，尤其是手勢交互等自然交互方式用在懸浮真3D顯示上，既能進一步發揮3D顯示自然直觀的優勢，又能使人和空間中的懸浮3D圖像自由交互。

然而，目前針對懸浮真3D顯示的手勢交互大多僅能實現單人單物體的手勢交互或單手對場景全局整體的交互，限制了懸浮真3D顯示手勢交互的應用場景。要實現多人同時交互以及多物體獨立交互，串擾問題亟待解決。

發明內容

本發明提出一種懸浮真3D顯示多人手勢交互系統，目的在于解決或部分解決現有懸浮真3D顯示多人手勢交互存在的串擾問題。所述系統由光場3D顯示屏、懸浮器件、手勢數據采集設備和計算機構成，系統共包括3個模塊：顯示模塊、交互模塊和處理模塊。

所述顯示模塊用于實現懸浮真3D顯示，包括光場3D顯示屏和懸浮器件。

所述光場3D顯示屏用于實現裸眼真3D顯示效果；

所述懸浮器件用于將光場3D顯示屏再現的3D圖像懸浮在空中，實現懸浮真3D顯示；

所述交互模塊由手勢數據采集設備構成，用于采集多個用戶的手勢數據。

所述處理模塊為計算機，用于接收交互模塊傳來的手勢數據并進行交互所需的計算，渲染3D片源，并驅動所述光場3D顯示屏。

所述系統各模塊的空間位置關系為：交互模塊有效采集多個用戶手勢數據的空間區域與顯示模塊顯示3D圖像的空間區域重合，處理模塊位于重合空間區域之外。

系統手勢交互的流程為：多個用戶對懸浮3D圖像做出交互手勢，所述處理模塊讀取所述交互模塊采集到的手勢數據，并根據交互通道機制檢查各物體是否能夠與當前手發生交互，檢查通過后將懸浮3D圖像和手勢的坐標系按特定規則統一，之后進一步判斷手勢交互方式，具體計算各3D物體對交互手勢產生的響應，最后渲染新一幀的3D片源，傳入所述顯示模塊，經過所述顯示模塊后，所述懸浮3D圖像較上一幀發生平移、旋轉、放縮、彈出窗口等變化，實現交互閉環。

進一步地，所述光場3D顯示屏可以是集成成像3D顯示屏、超多視點3D顯示屏、全息3D顯示屏、體3D顯示屏等。

進一步地，所述集成成像3D顯示屏、超多視點3D顯示屏等對應的3D片源可以直接在 OpenGL、Unity3D、Unreal Engine等開發平臺搭建虛擬相機陣列渲染得到，也可以進一步通過OpenCV、CUDA對圖像陣列像素進行處理得到。

進一步地，所述懸浮器件可以是平面型或曲面型，單層或多層，反射型或折射型，更具體地，可以是二面角反射鏡陣列、回反射鏡陣列、光學反射鏡等。

進一步地，所述交互模塊的手勢數據采集設備，可以是已經產品化的體感控制器Microsoft Kinect、Leap Motion，也可以是集成人手關節識別模塊的雙目或多目相機。

進一步地，所述手勢交互方式按交互對象劃分，包括多用戶對多物體的獨立交互，多用戶對多物體的整體交互。