[發(fā)明專利]基于視頻透視式增強(qiáng)現(xiàn)實(shí)的真三維建模系統(tǒng)和方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201210390484.6
• 申請(qǐng)日: 2012-10-16
• 公開（公告）號(hào): CN102945564A
• 公開（公告）日: 2013-02-27
• 發(fā)明（設(shè)計(jì)）人: 陳一民;李啟明;馬德宜;黃晨;徐升;張?jiān)迫A;陸壬淼;王曦晨;周明珠;葉聰麗;李蕓
• 申請(qǐng)（專利權(quán)）人: 上海大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T7/00;G06F3/01
• 代理公司: 上海上大專利事務(wù)所(普通合伙) 31205
• 代理人: 何文欣

1.一種基于視頻透視式增強(qiáng)現(xiàn)實(shí)的真三維建模系統(tǒng)，特征在于其包括以下組成部分：

1)：雙目攝像頭(Logitech,?Pro?C910)：模擬設(shè)計(jì)用戶的雙眼，固定于頭盔顯示器上，用于采集真實(shí)世界場(chǎng)景；

2)：PC1（DELL,?PRECISION?690）真實(shí)場(chǎng)景采集與處理：通過使用1)雙目攝像頭和視頻采集卡對(duì)真實(shí)場(chǎng)景進(jìn)行采集和處理；

3)：PC2（DELL,?PRECISION?690）虛擬場(chǎng)景生成：接收13)PC6的輸出數(shù)據(jù)并據(jù)此完成分別對(duì)應(yīng)于左右眼的虛擬場(chǎng)景的繪制、注冊(cè)和動(dòng)畫實(shí)現(xiàn)等任務(wù)；

4)：PC3（DELL,?OPTIPLEX?360）通信與系統(tǒng)監(jiān)控：是系統(tǒng)的通信和控制中心，還完成音頻控制、光照控制以及硬件設(shè)備狀態(tài)監(jiān)控等任務(wù)；

5)：可編程控制器(Omron,?CPM2A)：用于控制音頻子系統(tǒng)和光照子系統(tǒng)的開關(guān)和強(qiáng)度大小等；

6)：音頻控制器(繹創(chuàng)科技有限公司,?USB-DMX512)：提供設(shè)計(jì)交互時(shí)產(chǎn)生的聲音信息，增強(qiáng)用戶對(duì)設(shè)計(jì)對(duì)象的聽覺感知；

7)：光照控制器(繹創(chuàng)科技有限公司,?USB-DMX512)：通過光照系統(tǒng)的引入完善虛實(shí)之間的無縫融合，進(jìn)一步增強(qiáng)用戶的視覺感知；

8)：100兆交換機(jī)(D-Link,?DES-1050G)；

9)：高速以太網(wǎng)；

10)：PC4（DELL,?PRECISION?690）虛實(shí)場(chǎng)景融合（左眼場(chǎng)景）：將左路攝像頭拍攝到的真實(shí)場(chǎng)景與虛擬場(chǎng)景進(jìn)行融合渲染；

11)：PC5（DELL,?PRECISION?690）虛實(shí)場(chǎng)景融合（右眼場(chǎng)景）：將右路攝像頭拍攝到的真實(shí)場(chǎng)景與虛擬場(chǎng)景進(jìn)行融合渲染；

12)：視頻透視式HMD(Liteye,?LE-500)：設(shè)計(jì)用戶通過HMD查看設(shè)計(jì)結(jié)果；

13)：PC6（DELL,?OPTIPLEX?360）交互信息采集與處理：對(duì)數(shù)據(jù)手套、磁力跟蹤器等設(shè)備采集到的用戶交互信息原始數(shù)據(jù)進(jìn)行分析、計(jì)算和算法處理；

14)：分屏器(MT-VIKI,?MT-2504)（左眼場(chǎng)景）：10)PC4輸出的左路虛實(shí)融合場(chǎng)景經(jīng)此分屏器分兩路同步傳輸，一路發(fā)送到HMD左顯示器，供設(shè)計(jì)用戶使用，另一路發(fā)送至投影儀，供觀察用戶使用；

15)：分屏器（MT-VIKI,?MT-2504）（右眼場(chǎng)景）：11)PC5輸出的右路虛實(shí)融合場(chǎng)景經(jīng)此分屏器分兩路同步傳輸，一路發(fā)送到HMD右顯示器，供設(shè)計(jì)用戶使用，另一路發(fā)送至投影儀，供觀察用戶使用；

16)：數(shù)據(jù)手套(5DT,?Data?Glove?5?Ultra)：捕捉設(shè)計(jì)用戶進(jìn)行建模和設(shè)計(jì)交互時(shí)的手形變化原始信息；

17)：磁力跟蹤器（Ascension,?Flock?of?Birds）：實(shí)時(shí)跟蹤用戶的視點(diǎn)位置變化，用于所設(shè)計(jì)的對(duì)象在虛擬場(chǎng)景注冊(cè)、定位和渲染，實(shí)時(shí)跟蹤與所設(shè)計(jì)對(duì)象進(jìn)行交互的手部的運(yùn)動(dòng)軌跡，并據(jù)此使所設(shè)計(jì)對(duì)象做出相應(yīng)的反饋；

18)：投影儀（SONY,?VPL-EX176）：兩個(gè)投影儀分別將左右眼兩路融合場(chǎng)景投影到大屏幕；

19)：偏振光眼鏡(GELETE,?GDD2012)：使用偏振光眼鏡查看雙目立體視覺投影，對(duì)用戶的設(shè)計(jì)結(jié)果進(jìn)行評(píng)價(jià)和反饋；

系統(tǒng)使用磁力跟蹤器實(shí)時(shí)跟蹤用戶視角和手部的位姿變化，由電磁跟蹤系統(tǒng)和數(shù)據(jù)手套讀取的原始用戶交互信息在PC6進(jìn)行分析、計(jì)算和算法處理；PC2的主要任務(wù)包括接收PC6傳來的用戶視點(diǎn)位置、設(shè)計(jì)操作等數(shù)據(jù)信息，計(jì)算虛擬相機(jī)位置，并據(jù)此完成分別對(duì)應(yīng)于左右眼的虛擬場(chǎng)景的繪制、注冊(cè)；PC4和PC5接收由PC1傳來的左右眼兩路真實(shí)場(chǎng)景視頻和由PC2傳來的虛擬場(chǎng)景，并將兩者進(jìn)行無縫、自然的融合渲染；最后，所有的主機(jī)通過高速以太網(wǎng)互聯(lián)，在PC3的管理和監(jiān)督下協(xié)作運(yùn)行。

2.一種基于視頻透視式增強(qiáng)現(xiàn)實(shí)的真三維建模方法，利用權(quán)利要求1所述的基于視頻透視式增強(qiáng)現(xiàn)實(shí)的真三維建模系統(tǒng)進(jìn)行建模，其具體操作步驟如下：

1)：相機(jī)標(biāo)定：拍攝帶有標(biāo)準(zhǔn)棋盤格標(biāo)識(shí)的圖片，利用數(shù)字圖像處理技術(shù)求得攝像頭的內(nèi)部參數(shù)和外部參數(shù)；

2)：真實(shí)場(chǎng)景采集：使用標(biāo)定好的攝像頭和視頻采集卡進(jìn)行真實(shí)場(chǎng)景采集，為后續(xù)的視頻分析處理和虛實(shí)場(chǎng)景融合奠定基礎(chǔ)；

3)：原始交互信息的采集：實(shí)時(shí)采集設(shè)計(jì)用戶頭部和手部的坐標(biāo)數(shù)據(jù)，以及五指的彎曲變化情況；

4)：原始交互信息的校正：由于儀器本身以及用戶穿戴習(xí)慣等因素的不同，磁力跟蹤器和數(shù)據(jù)手套的傳感器采集到的原始數(shù)據(jù)不可避免地存在較大誤差，采用改進(jìn)的線性回歸模型對(duì)采集的原始數(shù)據(jù)進(jìn)行校正，大大提高了交互數(shù)據(jù)的精度；

5)：人機(jī)交互算法：設(shè)計(jì)并實(shí)現(xiàn)一系列算法，對(duì)經(jīng)過步驟4)校正后的數(shù)據(jù)進(jìn)一步分析和處理，據(jù)此完成人機(jī)交互；

6)：用戶操作：根據(jù)子步驟5)的人機(jī)交互結(jié)果觸發(fā)相應(yīng)的用戶設(shè)計(jì)操作；

7)：設(shè)計(jì)用戶利用視頻透視式HMD查看虛實(shí)融合后的設(shè)計(jì)結(jié)果；

8)：學(xué)習(xí)觀摩用戶帶上偏振光眼鏡，可以在大屏幕上查看具有立體視覺的虛實(shí)融合后的設(shè)計(jì)結(jié)果，并對(duì)其進(jìn)行評(píng)價(jià)；

???????本方法首先通過拍攝標(biāo)識(shí)圖片，利用數(shù)字圖像技術(shù)獲得相機(jī)的內(nèi)部參數(shù)和外部參數(shù)，完成相機(jī)標(biāo)定；然后利用標(biāo)定好的攝像頭和視頻采集卡進(jìn)行真實(shí)場(chǎng)景采集，為后續(xù)的虛實(shí)融合奠定基礎(chǔ)；采用改進(jìn)的線性回歸模型對(duì)實(shí)時(shí)采集的用戶頭部，手部和五指彎曲的數(shù)據(jù)進(jìn)行校正，減少因測(cè)量帶來的誤差；最后讓用戶通過視頻透視式HMD觀看虛實(shí)融合的效果并進(jìn)行交互操作。