[發明專利]一種可手勢交互的AR智能頭盔裝置

在審

• 申請號: 202210723856.6
• 申請日: 2022-06-24
• 公開（公告）號: CN115167666A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 童飛飛;葛晨陽;李輝;楊亞林;張小娜;王騫;衛倩倩;王輝
• 申請（專利權）人: 河南中光學集團有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/20;G06V20/40;G06V10/82;G06V10/80;G06V10/764;G02B27/01
• 代理公司: 北京隆達恒晟知識產權代理有限公司 11899
• 代理人: 莊振乾

本發明公開了一種可手勢交互的AR智能頭盔裝置，包括AR頭盔和手勢識別模塊；其中所述AR頭盔由多攝像頭模塊、SoC計算板、雙目微顯示屏及光機模塊組成，由多攝像頭模塊采集手勢圖像，經基于ARM+NPU架構的SoC計算板上的手勢識別處理，識別出手勢動作控制指令進行功能選擇、點擊、退出、換頁動作，并同步在雙目微顯示屏及光機模塊上顯示；所述手勢識別模塊，運行在SoC計算板上，對多攝像頭模塊采集的手勢圖像進行手部檢測和靜態手勢識別，其中手部檢測采用基于RetinaHand的手部檢測網絡。與現有技術相比，本發明能實現手勢交互識別，具有延時短、手部動作識別準、支持實時交互的特點，對于人與人、人與機器、甚至是類人智能機器與機器之間的溝通交流具有重要意義。

技術領域

本發明涉及VR/AR和自然交互技術領域，具體涉及一種可手勢交互的AR智能頭盔裝置。

背景技術

手勢作為人們與生俱來的一種自然交互方式，是人與人、人與機器、甚至是類人智能機器與機器之間溝通交流的重要橋梁，在許多領域都存在迫切需求，如聾啞人交流、智能家居、機器人、醫療國防等。如何獲得高精度、高準確率的手勢識別已成為手勢交互研究的關鍵。大視場高沉浸感AR頭盔，作為便攜式的大屏幕顯示裝置，可滿足“大視場、高沉浸度、高分辨率”的顯示需求，目前朝多傳感集成、虛實圖像融合、數字信息疊加等方向發展。現有的AR頭盔在交互方面一般采用按鍵、聲控或連接手機交互的方式。如果AR頭盔在交互方面也能采用手勢交互，那對于人與人、人與機器、甚至是類人智能機器與機器之間的溝通交流具有重要意義。

發明內容

為解決上述技術缺陷，本發明的目的是提供一種可手勢交互的AR智能頭盔裝置，能實現手勢交互識別，具有延時短、手部動作識別準、支持實時交互的特點，對于人與人、人與機器、甚至是類人智能機器與機器之間的溝通交流具有重要意義。

為達到上述目的，本發明采取的技術方案是：一種可手勢交互的AR智能頭盔裝置，包括AR頭盔和手勢識別模塊；其中所述AR頭盔由多攝像頭模塊、SoC計算板、雙目微顯示屏及光機模塊組成，由多攝像頭模塊采集手勢圖像，經基于ARM+NPU架構的SoC計算板上的手勢識別處理，識別出手勢動作控制指令進行功能選擇、點擊、退出、換頁動作，并同步在雙目微顯示屏及光機模塊上顯示；

所述手勢識別模塊，運行在SoC計算板上，對多攝像頭模塊采集的手勢圖像進行手部檢測和靜態手勢識別，其中手部檢測采用基于RetinaHand的手部檢測網絡，靜態手勢識別采用靜態手勢分類網絡處理。

進一步地，所述的多攝像頭模塊包括一RGB高清攝像頭和一IR探測攝像頭，將RGB高清攝像頭和IR探測攝像頭采用到的視頻圖像通過mipi接口傳送給SoC計算板。

所述的多攝像頭模塊，包括兩微光高清攝像頭和一IR探測攝像頭，兩微光高清攝像頭組合起來具有擴展視場角FoV的功能，通過mipi接口將上述攝像頭采集的視頻圖像傳送給SoC計算板。

所述的SoC計算板具有SoC芯片，該芯片采取ARM核+NPU核的架構，通過mipi接口輸入多攝像頭模塊的多路視頻信號，經ISP處理后進行RGB+IR或兩路微光+IR的圖像融合處理，融合的目標是對于不同光照條件下的目標能更為顯性、便于識別。其NPU核用于運行目標檢測和手勢識別算法。融合后圖像、目標檢測結果、手勢識別結果通過mipi同步輸出給雙目微顯示屏及光機模塊進行顯示。

所述的雙目微顯示屏采用OLED微顯示屏或LCoS微顯示屏；所述的光機模塊為近目光學系統或者光波導衍射器件，用于近目AR增強顯示。

所述的手部檢測和靜態手勢識別主要基于SoC計算板上SoC的NPU核進行運行處理，基于RetinaHand的手部檢測網絡包括用于特征提取的骨干網絡backbone、特征處理融合模塊FPN及回歸頭部分head模塊，所述回歸頭部分head模塊用于從經過特征處理融合模塊FPN處理后的特征中回歸出目標的具體類別和坐標信息。