[發(fā)明專利]一種可手勢交互的AR智能頭盔裝置

在審

• 申請?zhí)枺?/td>: 202210723856.6
• 申請日: 2022-06-24
• 公開（公告）號: CN115167666A
• 公開（公告）日: 2022-10-11
• 發(fā)明（設(shè)計(jì)）人: 童飛飛;葛晨陽;李輝;楊亞林;張小娜;王騫;衛(wèi)倩倩;王輝
• 申請（專利權(quán)）人: 河南中光學(xué)集團(tuán)有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/20;G06V20/40;G06V10/82;G06V10/80;G06V10/764;G02B27/01
• 代理公司: 北京隆達(dá)恒晟知識產(chǎn)權(quán)代理有限公司 11899
• 代理人: 莊振乾

1.一種可手勢交互的AR智能頭盔裝置，其特征在于：包括AR頭盔和手勢識別模塊；其中所述AR頭盔由多攝像頭模塊、SoC計(jì)算板、雙目微顯示屏及光機(jī)模塊組成，由多攝像頭模塊采集手勢圖像，經(jīng)基于ARM+NPU架構(gòu)的SoC計(jì)算板上的手勢識別處理，識別出手勢動(dòng)作控制指令進(jìn)行功能選擇、點(diǎn)擊、退出、換頁動(dòng)作，并同步在雙目微顯示屏及光機(jī)模塊上顯示；

所述手勢識別模塊，運(yùn)行在SoC計(jì)算板上，對多攝像頭模塊采集的手勢圖像進(jìn)行手部檢測和靜態(tài)手勢識別，其中手部檢測采用基于RetinaHand的手部檢測網(wǎng)絡(luò)，靜態(tài)手勢識別采用靜態(tài)手勢分類網(wǎng)絡(luò)處理。

2.根據(jù)權(quán)利要求1所述的可手勢交互的AR智能頭盔裝置，其特征在于：所述的多攝像頭模塊包括一RGB高清攝像頭和一IR探測攝像頭，將RGB高清攝像頭和IR探測攝像頭采用到的視頻圖像通過mipi接口傳送給SoC計(jì)算板。

3.根據(jù)權(quán)利要求1所述的可手勢交互的AR智能頭盔裝置，其特征在于：所述的多攝像頭模塊，包括兩微光高清攝像頭和一IR探測攝像頭，兩微光高清攝像頭組合起來具有擴(kuò)展視場角FoV的功能，通過mipi接口將上述攝像頭采集的視頻圖像傳送給SoC計(jì)算板。

4.根據(jù)權(quán)利要求1所述的可手勢交互的AR智能頭盔裝置，其特征在于：所述的SoC計(jì)算板具有SoC芯片，該芯片采取ARM核+NPU核的架構(gòu)，通過mipi接口輸入多攝像頭模塊的多路視頻信號，經(jīng)ISP處理后進(jìn)行RGB+IR或兩路微光+IR的圖像融合處理，融合的目標(biāo)是對于不同光照條件下的目標(biāo)能更為顯性、便于識別，其NPU核用于運(yùn)行目標(biāo)檢測和手勢識別算法；融合后圖像、目標(biāo)檢測結(jié)果、手勢識別結(jié)果通過mipi同步輸出給雙目微顯示屏及光機(jī)模塊進(jìn)行顯示。

5.根據(jù)權(quán)利要求4所述的可手勢交互的AR智能頭盔裝置，其特征在于：所述的雙目微顯示屏采用OLED微顯示屏或LCoS微顯示屏；所述的光機(jī)模塊為近目光學(xué)系統(tǒng)或者光波導(dǎo)衍射器件，用于近目AR增強(qiáng)顯示。

6.根據(jù)權(quán)利要求1所述的可手勢交互的AR智能頭盔裝置，其特征在于：所述的手部檢測和靜態(tài)手勢識別主要基于SoC計(jì)算板上SoC的NPU核進(jìn)行運(yùn)行處理，基于RetinaHand的手部檢測網(wǎng)絡(luò)包括用于特征提取的骨干網(wǎng)絡(luò)backbone、特征處理融合模塊FPN及回歸頭部分head模塊，所述回歸頭部分head模塊用于從經(jīng)過特征處理融合模塊FPN處理后的特征中回歸出目標(biāo)的具體類別和坐標(biāo)信息。

7.根據(jù)權(quán)利要求6所述的可手勢交互的AR智能頭盔裝置，其特征在于：靜態(tài)手勢識別的結(jié)果將用于控制SoC計(jì)算板上功能和菜單選擇、APP點(diǎn)擊、退出及換頁動(dòng)作，實(shí)現(xiàn)靜態(tài)手勢識別的靜態(tài)手勢分類網(wǎng)絡(luò)包括特征提取模塊和歸一化指數(shù)函數(shù)，其中，所述特征提取模塊包括全連接層、批量標(biāo)準(zhǔn)化層和非線性激活層；所述靜態(tài)手勢分類網(wǎng)絡(luò)的檢測出的手部區(qū)域，輸出為C維特征，表示靜態(tài)手勢分別屬于C個(gè)類別的概率；所述歸一化指數(shù)函數(shù)將概率歸一化到[0，1]之間。