[發(fā)明專利]一種基于動(dòng)態(tài)捕捉與全息投影的遠(yuǎn)程交互方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710466807.8
• 申請(qǐng)日: 2017-06-20
• 公開(kāi)（公告）號(hào): CN107463248A
• 公開(kāi)（公告）日: 2017-12-12
• 發(fā)明（設(shè)計(jì)）人: 婁澤華;殷繼彬
• 申請(qǐng)（專利權(quán)）人: 昆明理工大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T19/00;H04L29/08;H04N13/02;H04N13/04
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于動(dòng)態(tài)捕捉與全息投影的遠(yuǎn)程交互方法，屬于人機(jī)交互 領(lǐng)域。

背景技術(shù)

現(xiàn)有的視頻交互過(guò)程中，由于屏幕是二維的，交互的方式不夠自然，絕大部分時(shí)間滯留在電腦前的一小塊區(qū)域，且無(wú)法完成遠(yuǎn)程控制實(shí)體的交互，因此非常限制交互的內(nèi)容，比如參加學(xué)術(shù)交流必須本人親自到場(chǎng)才能講解，路程遠(yuǎn)的一旦延誤就只能作罷。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題：針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明利用運(yùn)動(dòng)捕捉和全息投影等技術(shù)，將視頻通話拓展為遠(yuǎn)程虛擬交互的裸眼增強(qiáng)現(xiàn)實(shí)技術(shù)。

本發(fā)明采用的技術(shù)方案：一種基于動(dòng)態(tài)捕捉和全息投影的遠(yuǎn)程交互方法，包括如下步驟：

（一）數(shù)據(jù)采集

1.1在云端存儲(chǔ)共享虛擬場(chǎng)景，利用建模軟件繪制出模型周圍的虛擬場(chǎng)景，在云端提供多種常用模型場(chǎng)景的共享；

1.2在云端存儲(chǔ)共享虛擬模型，利用建模軟件制作出經(jīng)典的虛擬模型，在云端提供多種常用虛擬模型的共享；

1.3在用戶個(gè)人的數(shù)據(jù)庫(kù)內(nèi)存儲(chǔ)自定義虛擬場(chǎng)景，用戶自定義的虛擬場(chǎng)景，是通過(guò)建模軟件建模或者通過(guò)照片拍照建模方式建立的場(chǎng)景；

1.4在用戶個(gè)人的數(shù)據(jù)庫(kù)內(nèi)存儲(chǔ)自定義虛擬模型，用戶自定義的虛擬模型，是通過(guò)建模軟件建模或者三維人體掃描儀掃描出的目標(biāo)模型；

1.5使用光運(yùn)動(dòng)捕捉設(shè)備進(jìn)行運(yùn)動(dòng)捕捉，捕捉到精確的骨骼運(yùn)動(dòng)數(shù)據(jù)，骨骼運(yùn)動(dòng)數(shù)據(jù)實(shí)時(shí)傳輸?shù)皆贫艘耘c虛擬模型實(shí)時(shí)綁定；

1.6使用音頻輸入設(shè)備進(jìn)行語(yǔ)音捕捉，語(yǔ)音數(shù)據(jù)實(shí)時(shí)傳輸?shù)皆贫艘耘c虛擬模型實(shí)時(shí)綁定；

（二） 數(shù)據(jù)處理

2.1云端建立邏輯主機(jī)管理一級(jí)邏輯從機(jī)；

2.2一級(jí)邏輯從機(jī)調(diào)用個(gè)人模型數(shù)據(jù)、骨骼運(yùn)動(dòng)數(shù)據(jù)、場(chǎng)景數(shù)據(jù)、實(shí)時(shí)語(yǔ)音進(jìn)行綁定，并按用戶預(yù)設(shè)處理合成的場(chǎng)景，同時(shí)分配三個(gè)虛擬攝像機(jī)位置：分別是一個(gè)觀察者視角與兩個(gè)獨(dú)立的交互者眼睛視角；

2.3一級(jí)邏輯從機(jī)下設(shè)兩個(gè)二級(jí)邏輯從機(jī)，用于信息的發(fā)送和接收，默認(rèn)分別用來(lái)從兩個(gè)獨(dú)立的交互者眼睛視角來(lái)觀察場(chǎng)景，用戶設(shè)定觀察者視角時(shí)，將其對(duì)應(yīng)的二級(jí)邏輯從機(jī)使用觀察者視角；

（三）圖像呈現(xiàn)

客戶端使用三維全息立體投影技術(shù)將接收到的云端處理好的立體場(chǎng)景全息信息投影到空氣或者水霧上，實(shí)現(xiàn)用戶與三維影像的交互。

優(yōu)選的，所述數(shù)據(jù)處理中可在研討中心或者展廳中設(shè)置邏輯從機(jī)用于進(jìn)行多個(gè)人信息的同時(shí)綁定和合成，實(shí)現(xiàn)群組視頻功能。

優(yōu)選的，由于信息控制是由邏輯主機(jī)完成的，那么可以專設(shè)一類邏輯從機(jī)來(lái)進(jìn)行多個(gè)人信息的同時(shí)綁定和合成，實(shí)現(xiàn)群組“視頻”功能，這種邏輯從機(jī)采用分布式計(jì)算來(lái)快速處理減少延遲。設(shè)置在一些重要研討中心或者展廳中，即使無(wú)人可以到場(chǎng)，一樣不會(huì)影響向觀眾展示。

優(yōu)選的，基于人的語(yǔ)言通常不是指令式的那么嚴(yán)謹(jǐn)，可以將設(shè)置語(yǔ)音“命令識(shí)別”或者某一特定動(dòng)作等來(lái)觸發(fā)語(yǔ)音識(shí)別庫(kù)和動(dòng)作識(shí)別庫(kù)，表示接下來(lái)是比較精確的操作。

優(yōu)選的，將3DMAX或者M(jìn)AYA等軟件的可操作性集成到客戶端的系統(tǒng)功能中，比如通過(guò)簡(jiǎn)單的拉伸平移旋轉(zhuǎn)來(lái)創(chuàng)作一個(gè)桌子或者演示一些操作，以便最終擴(kuò)展為一個(gè)三維版的智能操作系統(tǒng)。

優(yōu)選的，確定修改場(chǎng)景后將場(chǎng)景傳回云端同步，并且同一時(shí)間只能有一個(gè)人操作場(chǎng)景。

優(yōu)選的，客戶端可以用Kinect進(jìn)行模糊捕捉（精度1cm）以降低成本，研究機(jī)構(gòu)的演示可以通過(guò)光運(yùn)動(dòng)捕捉進(jìn)行精確高速捕捉（精度1mm），展廳和報(bào)告廳可以使用“群組”功能來(lái)為研究機(jī)構(gòu)和公司服務(wù)，也可以將模型綁定機(jī)器人來(lái)進(jìn)行遠(yuǎn)程實(shí)體操作。

本發(fā)明的有益效果：

1、更貼近自然交互；

2、交互的內(nèi)容更加豐富；

3、通過(guò)綁定機(jī)器人可以完成簡(jiǎn)單的實(shí)體交互；

4、研討會(huì)、演唱會(huì)等大型會(huì)展可以同時(shí)轉(zhuǎn)播，實(shí)況觀看；

5、幫助殘疾人、無(wú)法回家的工作者等特殊群體實(shí)現(xiàn)更貼近真實(shí)的遠(yuǎn)程交流。

附圖說(shuō)明

圖1為本發(fā)明的遠(yuǎn)程交互方法流程圖；

圖2 為本發(fā)明的遠(yuǎn)程交互原理圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。