[發(fā)明專利]無標(biāo)定真三維全景顯示與交互裝置

無效

• 申請?zhí)枺?/td>: 200810057305.0
• 申請日: 2008-01-31
• 公開（公告）號: CN101231752A
• 公開（公告）日: 2008-07-30
• 發(fā)明（設(shè)計）人: 吳威;張淑軍;周忠;趙沁平
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京科迪生專利代理有限責(zé)任公司
• 代理人: 賈玉忠;盧紀(jì)

技術(shù)領(lǐng)域

本發(fā)明涉及一種無標(biāo)定真三維全景顯示與交互裝置及方法，屬于計算機(jī)視覺和人機(jī)交互領(lǐng)域。

背景技術(shù)

沉浸是使人具有真實(shí)感并獲得體驗(yàn)的根本，而交互是實(shí)現(xiàn)人機(jī)和諧的關(guān)鍵。虛擬場景的顯示和交互是虛擬現(xiàn)實(shí)的核心所在，目前顯示部分主要通過各種不同的顯示設(shè)備實(shí)現(xiàn)，如立體顯示器、柱幕或環(huán)幕系統(tǒng)、CAVE系統(tǒng)，以提供給人沉浸感；而交互主要通過各種輸入設(shè)備如數(shù)據(jù)手套、光學(xué)標(biāo)志點(diǎn)、位置跟蹤器等實(shí)現(xiàn)。如要跟蹤人頭部的運(yùn)動，需要專門的位置跟蹤器，體積大，價格高，且有較大的重量，使用不方便。而人如果要用手與虛擬場景交互，必須戴數(shù)據(jù)手套，也只能捕捉幾個自由度的信息，不夠靈活。在人體位置和姿態(tài)動作的捕捉和識別方面，目前也有做的，但都有標(biāo)定。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是：克服現(xiàn)有技術(shù)存在的不足，提供一種可以實(shí)現(xiàn)無標(biāo)定真三維全景顯示和交互的裝置及方法，無須對觀察者進(jìn)行標(biāo)定，觀察者在工作空間內(nèi)可以自然的轉(zhuǎn)動頭部和身體以改變視點(diǎn)，實(shí)現(xiàn)真三維全景的顯示與交互，具有較好的浸入感和靈活性。

本發(fā)明的技術(shù)解決方案：一種無標(biāo)定真三維全景顯示與交互裝置，包括主體支架、頭盔顯示器、圖像存儲和處理器、能夠進(jìn)行高速運(yùn)算和實(shí)時處理的主機(jī)，所述主體支架上設(shè)置有多個可安裝攝像機(jī)的云臺，所述云臺上裝有攝像機(jī)，觀察者站在主體支架內(nèi)部空間中，通過頭盔顯示器即可實(shí)時觀看一個虛擬場景，觀察者可做空間上的自由移動，包括頭部轉(zhuǎn)向、自由行走、轉(zhuǎn)動，并能與場景實(shí)時交互，所述的多個攝像機(jī)通過從多個角度同步采集觀察者的圖像信息，輸入到圖像存儲和處理器進(jìn)行圖像的預(yù)處理，預(yù)處理后的圖像再輸入到主機(jī)，由主機(jī)對多幅圖像通過進(jìn)行分析、匹配和計算，實(shí)時解算出人的位置、姿態(tài)和動作信息，并由此來控制頭盔顯示器中的虛擬場景產(chǎn)生相應(yīng)的變化，以實(shí)現(xiàn)虛擬顯示并產(chǎn)生交互效應(yīng)。

所述主體支架上還安裝有傳感器的固定件，所述傳感器固定件上可安裝紅外傳感器、或聲音傳感器、或溫度傳感器，紅外傳感器用于識別人體信息后，或聲音傳感器采集人的自然語言后，或溫度傳感器采集工作空間的溫度后輸入主機(jī)進(jìn)行識別、處理和存儲，作為對場景信息的記錄和分析，可用來模擬和恢復(fù)場景。

本發(fā)明的另一目的是提供一種無標(biāo)定真三維全景顯示與交互方法，其步驟如下：

(1)對攝像機(jī)進(jìn)行標(biāo)定；

(2)進(jìn)行圖像采集：觀察者站在主體支架內(nèi)部空間中，通過頭盔顯示器即可實(shí)時觀看一個虛擬場景，觀察者可做空間上的自由移動，包括頭部轉(zhuǎn)向、自由行走、轉(zhuǎn)動，多個攝像機(jī)從不同角度同步采集觀察者的圖像；

(3)圖像預(yù)處理：攝像機(jī)采集的圖像送入圖像存儲和處理器進(jìn)行存儲和預(yù)處理；

(4)圖像信息提取：預(yù)處理的圖像傳送到主機(jī)，主機(jī)對接收到的多幅圖像進(jìn)行分析、匹配和計算，提取其中的關(guān)鍵信息，包括人頭部和手部的輪廓及頭部和手部在不同圖像上對應(yīng)的特征點(diǎn)對的圖像坐標(biāo)；

(5)根據(jù)所提取的關(guān)鍵信息實(shí)時解算人的位置、姿態(tài)和動作信息；

(6)更新虛擬場景的顯示：根據(jù)位移和姿態(tài)的改變控制頭盔顯示器的虛擬場景產(chǎn)生相應(yīng)的變化，以實(shí)現(xiàn)虛擬顯示并產(chǎn)生交互效應(yīng)。

本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：

(1)本裝置可容納多人同時在工作空間內(nèi)，觀察者可以自然的在三維空間內(nèi)運(yùn)動，實(shí)現(xiàn)了真三維的效果；

(2)由于設(shè)置了多個攝像機(jī)，從而可以在無須對觀察者進(jìn)行標(biāo)定的情況下，通過圖像的采集和模式識別技術(shù)實(shí)時獲取觀察者的頭部和手部的位置、姿態(tài)和動作信息，實(shí)現(xiàn)了跟蹤和定位；

(3)觀察者轉(zhuǎn)動頭部和身體以改變視點(diǎn)，所看到的場景即計算機(jī)生成的虛擬世界將實(shí)時發(fā)生變化；

(4)觀察者可以以自然的方式直接與虛擬環(huán)境中的對象進(jìn)行交互操作。

總之，本發(fā)明創(chuàng)建了一個酷似客觀環(huán)境又超越客觀時空、既能夠沉浸其中又能駕馭其上的和諧的人機(jī)交互環(huán)境，即一個由多維信息所構(gòu)造的可操縱的立體空間，其主要目標(biāo)是實(shí)現(xiàn)人類在計算機(jī)控制的虛擬環(huán)境中獲得最真實(shí)的體驗(yàn)，且以方便自然的方式進(jìn)行人與環(huán)境之間的交互。觀察者不用透過外部顯示器，而能夠直接沉浸在計算機(jī)控制下的虛擬環(huán)境當(dāng)中，如同人類日常生活在真實(shí)世界一樣。

附圖說明

圖1是本發(fā)明裝置的結(jié)構(gòu)示意圖；

圖2是本發(fā)明的方法流程圖。

具體實(shí)施方式