[發(fā)明專利]一種向上層引擎提供骨骼點(diǎn)數(shù)據(jù)的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110404003.1
• 申請(qǐng)日: 2021-04-15
• 公開（公告）號(hào): CN113191934A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 張哲為;顧友良;丁博文;程煜均
• 申請(qǐng)（專利權(quán)）人: 廣州紫為云科技有限公司
• 主分類號(hào): G06T1/20
• 分類號(hào): G06T1/20;G06T5/00;G06T7/277;G06T19/00;G06N3/04
• 代理公司: 廣州名揚(yáng)高玥專利代理事務(wù)所(普通合伙) 44738
• 代理人: 武麗華

本申請(qǐng)實(shí)施例提供一種向上層引擎提供骨骼點(diǎn)數(shù)據(jù)的方法及系統(tǒng)，通過單目攝像頭實(shí)現(xiàn)視頻圖像數(shù)據(jù)的采集，以價(jià)格相對(duì)便宜的單目攝像頭替代價(jià)格相對(duì)昂貴的雙目或深度攝像頭，可有效降低成本；通過目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)從采集的視頻圖像中推理出2D骨骼關(guān)鍵點(diǎn)，并通過一維卷積神經(jīng)網(wǎng)絡(luò)做實(shí)時(shí)3D坐標(biāo)變換，從而將2D骨骼關(guān)鍵點(diǎn)變換為3D骨骼關(guān)鍵點(diǎn)，整個(gè)計(jì)算過程，即便是中低端配置的設(shè)備也可以滿足處理計(jì)算需求，從而使中低端配置玩家也能順暢地進(jìn)行游戲，本方案具有實(shí)時(shí)性、魯棒性、流暢、平滑等體驗(yàn)優(yōu)勢(shì)；由于管道接口模塊的設(shè)置，使得與體感游戲的引擎模塊接口之間打通，實(shí)現(xiàn)了跨操作系統(tǒng)的融合。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體的，涉及一種向上層引擎提供骨骼點(diǎn)數(shù)據(jù)的方法及系統(tǒng)。

背景技術(shù)

目前的體感游戲主要有可穿戴設(shè)備體感游戲和基于雙目或深度攝像頭(如Kinect、RealSense)的體感游戲，這類游戲?qū)z像頭硬件依賴較強(qiáng)，而體感攝像頭設(shè)備普遍比較昂貴，對(duì)于玩家的消費(fèi)水平要求較高；而且，體感攝像頭對(duì)硬件性能依賴較高，如Kinect 3.0需要很強(qiáng)大的GPU算力，普通CPU無(wú)法做到實(shí)時(shí)處理，且Kinect3.0適配大型游戲引擎(如unity3D、ue4)，需要較多的計(jì)算資源，中低端配置的設(shè)備往往無(wú)法滿足其要求，致使中低端配置玩家的游戲流暢體驗(yàn)不佳。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種向上層引擎提供骨骼點(diǎn)數(shù)據(jù)的方法及系統(tǒng)，以解決現(xiàn)有體感游戲的攝像頭成本高、中低端配置玩家體驗(yàn)不佳的問題。

第一方面，本申請(qǐng)實(shí)施例提供一種向上層引擎提供骨骼點(diǎn)數(shù)據(jù)的方法，包括：獲取單目攝像頭實(shí)時(shí)采集的視頻圖像；通過目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)推理出所述視頻圖像的2D骨骼關(guān)鍵點(diǎn)序列；通過一維卷積神經(jīng)網(wǎng)絡(luò)將2D骨骼關(guān)鍵點(diǎn)序列轉(zhuǎn)換為3D骨骼關(guān)鍵點(diǎn)序列；將獲得的3D骨骼關(guān)鍵點(diǎn)序列發(fā)送給上層引擎模塊。

可選的，在將獲得的3D骨骼關(guān)鍵點(diǎn)序列發(fā)送給上層引擎模塊之前，所述方法還包括：通過擴(kuò)展卡爾曼濾波器對(duì)所述3D骨骼關(guān)鍵點(diǎn)序列進(jìn)行平滑濾波處理。

可選的，所述將獲得的3D骨骼關(guān)鍵點(diǎn)序列發(fā)送給上層引擎模塊，包括：將獲得的3D骨骼關(guān)鍵點(diǎn)序列進(jìn)行CPP封裝；通過CPP語(yǔ)言調(diào)用預(yù)設(shè)的上層語(yǔ)言，將所述3D骨骼關(guān)鍵點(diǎn)序列存入所述上層語(yǔ)言的數(shù)據(jù)結(jié)構(gòu)中，以供相應(yīng)的上層引擎模塊調(diào)用所述數(shù)據(jù)結(jié)構(gòu)中的3D骨骼關(guān)鍵點(diǎn)序列。

可選的，所述將獲得的3D骨骼關(guān)鍵點(diǎn)序列發(fā)送給上層引擎模塊，包括：通過網(wǎng)絡(luò)通信單元將所述3D骨骼關(guān)鍵點(diǎn)序列發(fā)送給上層引擎模塊。

可選的，所述一維卷積神經(jīng)網(wǎng)絡(luò)包括：依次連接的前N個(gè)一維卷積層、后N個(gè)一維卷積層以及全連接層；其中，后N個(gè)一維卷積層中的第n個(gè)一維卷積層的輸入為前一卷積層的輸出與前N個(gè)一維卷積層中第(N-n+1)個(gè)一維卷積層的輸出的疊加。

第二方面，本申請(qǐng)實(shí)施例提供一種向上層引擎提供骨骼點(diǎn)數(shù)據(jù)的系統(tǒng)，包括：數(shù)據(jù)采集單元，用于獲取單目攝像頭實(shí)時(shí)采集的視頻圖像；圖像實(shí)時(shí)處理單元，用于通過目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)推理出所述視頻圖像的2D骨骼關(guān)鍵點(diǎn)序列，并通過一維卷積神經(jīng)網(wǎng)絡(luò)將2D骨骼關(guān)鍵點(diǎn)序列轉(zhuǎn)換為3D骨骼關(guān)鍵點(diǎn)序列；管道接口模塊，用于將獲得的3D骨骼關(guān)鍵點(diǎn)序列發(fā)送給上層引擎模塊。

可選的，所述裝置還包括：濾波單元，用于通過卡爾曼濾波器對(duì)所述3D骨骼關(guān)鍵點(diǎn)序列進(jìn)行平滑濾波處理，將經(jīng)平滑濾波處理后的3D骨骼關(guān)鍵點(diǎn)序列輸出給管道接口單元。

可選的，管道接口模塊包括：進(jìn)程管道單元，用于將第一進(jìn)程獲得的3D骨骼關(guān)鍵點(diǎn)序列傳輸至第二進(jìn)程；其中，所述第一進(jìn)程用于通過數(shù)據(jù)采集單元和圖像實(shí)時(shí)處理單元獲得3D骨骼關(guān)鍵點(diǎn)序列，所述第二進(jìn)程用于獲取進(jìn)程管道單元提供的3D骨骼關(guān)鍵點(diǎn)序列，并通過管道接口模塊將獲得的3D骨骼關(guān)鍵點(diǎn)序列發(fā)送給上層引擎模塊。