[發(fā)明專(zhuān)利]一種基于SLAM的計(jì)算機(jī)視覺(jué)大空間定位方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911206522.6
• 申請(qǐng)日: 2019-11-29
• 公開(kāi)（公告）號(hào): CN111158463A
• 公開(kāi)（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 黃昌正;周言明;陳曦;黃慶麟
• 申請(qǐng)（專(zhuān)利權(quán)）人: 淮北幻境智能科技有限公司;東莞市易聯(lián)交互信息科技有限責(zé)任公司
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06T7/73;G06K9/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

一種基于SLAM的計(jì)算機(jī)視覺(jué)大空間定位方法及系統(tǒng)，包括：拍攝模塊拍攝用戶(hù)視野范圍內(nèi)的場(chǎng)景影像，慣性測(cè)量模塊檢測(cè)用戶(hù)姿態(tài)信息，傳輸模塊將場(chǎng)景影像及用戶(hù)姿態(tài)信息傳輸至服務(wù)器端，圖像預(yù)處理模塊處理得到場(chǎng)景坐標(biāo)信息及用戶(hù)軀干姿態(tài)，SLAM模塊根據(jù)場(chǎng)景坐標(biāo)信息及用戶(hù)姿態(tài)信息構(gòu)建即時(shí)地圖，內(nèi)容生成模塊在即時(shí)地圖中生成用戶(hù)虛擬模型，得到虛擬現(xiàn)實(shí)大空間場(chǎng)景，傳輸模塊將虛擬現(xiàn)實(shí)大空間場(chǎng)景傳輸至顯示模塊進(jìn)行顯示。可見(jiàn)，安裝于用戶(hù)終端的攝像頭使得虛擬現(xiàn)實(shí)大空間方案的成本顯著下降，且綜合大空間中不同方位多用戶(hù)所的拍攝視角，每一用戶(hù)的動(dòng)作姿態(tài)都被完整清晰地識(shí)別，用戶(hù)的虛擬現(xiàn)實(shí)交互體驗(yàn)良好。

技術(shù)領(lǐng)域

本發(fā)明涉及空間定位技術(shù)領(lǐng)域，尤其涉及一種基于SLAM的計(jì)算機(jī)視覺(jué)大空間定位方法及系統(tǒng)。

背景技術(shù)

虛擬現(xiàn)實(shí)大空間技術(shù)是指在廣闊場(chǎng)景中，借助無(wú)線(xiàn)傳輸、機(jī)器視覺(jué)、空間定位等技術(shù)，在廣闊場(chǎng)景實(shí)現(xiàn)多人即時(shí)的虛擬現(xiàn)實(shí)交互，可以看出，虛擬現(xiàn)實(shí)大空間技術(shù)十分適合應(yīng)用于線(xiàn)下多人VR對(duì)戰(zhàn)、大空間體驗(yàn)館、虛擬現(xiàn)實(shí)智能教室及虛擬游樂(lè)場(chǎng)等應(yīng)用場(chǎng)景。

然而，現(xiàn)有的虛擬現(xiàn)實(shí)大空間方案在應(yīng)用上存在不小的問(wèn)題，其架設(shè)在場(chǎng)地上方的多個(gè)攝像頭成本高昂，且調(diào)試維護(hù)困難。此外，當(dāng)場(chǎng)景中用戶(hù)人數(shù)過(guò)度密集時(shí)，部分動(dòng)作將會(huì)被其他用戶(hù)所遮擋，由于該動(dòng)作無(wú)法被拍攝并識(shí)別，會(huì)造成虛擬現(xiàn)實(shí)場(chǎng)景下對(duì)應(yīng)動(dòng)作的缺失，影響用戶(hù)的虛擬現(xiàn)實(shí)交互體驗(yàn)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例公開(kāi)一種基于SLAM（Simultaneous Localization And Mapping，SLAM，即時(shí)定位與地圖構(gòu)建）的計(jì)算機(jī)視覺(jué)大空間定位方法及系統(tǒng)，能夠大幅減少虛擬現(xiàn)實(shí)大空間方案的建設(shè)與維護(hù)成本，完整地捕捉虛擬現(xiàn)實(shí)大空間中眾多用戶(hù)的動(dòng)作姿態(tài)，用戶(hù)的虛擬現(xiàn)實(shí)交互體驗(yàn)良好。

本發(fā)明實(shí)施例第一方面公開(kāi)一種基于SLAM的計(jì)算機(jī)視覺(jué)大空間定位方法，包括：

拍攝模塊拍攝用戶(hù)視野范圍內(nèi)的場(chǎng)景影像，所述場(chǎng)景影像中包括用戶(hù)姿態(tài)影像；

慣性測(cè)量模塊檢測(cè)用戶(hù)姿態(tài)信息；

傳輸模塊將所述場(chǎng)景影像及所述用戶(hù)姿態(tài)信息從用戶(hù)終端傳輸至服務(wù)器端；

其中，所述拍攝模塊、所述慣性測(cè)量模塊、所述傳輸模塊及顯示模塊構(gòu)成所述用戶(hù)終端，所述用戶(hù)終端的數(shù)量至少為二；以及，所述服務(wù)器端包括所述傳輸模塊、圖像預(yù)處理模塊、SLAM模塊、內(nèi)容生成模塊及圖像處理加速模塊；

所述圖像預(yù)處理模塊處理所述場(chǎng)景影像得到場(chǎng)景坐標(biāo)信息及用戶(hù)軀干姿態(tài)；

所述SLAM模塊根據(jù)所述用戶(hù)姿態(tài)信息及所述場(chǎng)景坐標(biāo)信息構(gòu)建即時(shí)地圖；

所述內(nèi)容生成模塊根據(jù)所述場(chǎng)景坐標(biāo)信息、所述用戶(hù)姿態(tài)信息及所述用戶(hù)軀干姿態(tài)在所述即時(shí)地圖中生成用戶(hù)虛擬模型，得到虛擬現(xiàn)實(shí)大空間場(chǎng)景；

所述傳輸模塊將所述虛擬現(xiàn)實(shí)大空間場(chǎng)景傳輸至所述顯示模塊；

所述顯示模塊顯示所述虛擬現(xiàn)實(shí)大空間場(chǎng)景。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述圖像預(yù)處理模塊處理所述場(chǎng)景影像得到場(chǎng)景坐標(biāo)信息及用戶(hù)軀干姿態(tài)，包括：

采用深度視覺(jué)神經(jīng)網(wǎng)絡(luò)識(shí)別所述場(chǎng)景影像中的所述用戶(hù)姿態(tài)影像，得到所述用戶(hù)軀干姿態(tài)；

濾除所述場(chǎng)景影像中的所述用戶(hù)姿態(tài)影像，得到純凈場(chǎng)景影像；

識(shí)別所述純凈場(chǎng)景影像的深度信息，得到所述場(chǎng)景坐標(biāo)信息。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述SLAM模塊根據(jù)所述用戶(hù)姿態(tài)信息及所述場(chǎng)景坐標(biāo)信息構(gòu)建即時(shí)地圖，包括：

采用直接稠密法，通過(guò)全局最小化空間規(guī)范函數(shù)求取場(chǎng)景坐標(biāo)信息，