[發(fā)明專利]一種現(xiàn)實(shí)與虛擬場景混合展現(xiàn)的方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710456556.5
• 申請日: 2017-06-16
• 公開（公告）號: CN107158695A
• 公開（公告）日: 2017-09-15
• 發(fā)明（設(shè)計(jì)）人: 韓明清
• 申請（專利權(quán)）人: 蘇州蝸牛數(shù)字科技股份有限公司
• 主分類號: A63F13/25
• 分類號: A63F13/25;A63F13/213;A63F13/52;A63F13/525;A63F13/65;G06T19/00;H04N5/265
• 代理公司: 北京德崇智捷知識產(chǎn)權(quán)代理有限公司11467
• 代理人: 王金雙

技術(shù)領(lǐng)域

本發(fā)明涉及混合現(xiàn)實(shí)技術(shù)領(lǐng)域，特別是涉及一種現(xiàn)實(shí)與虛擬場景混合展現(xiàn)的方法及系統(tǒng)。

背景技術(shù)

現(xiàn)實(shí)與虛擬場景混合展現(xiàn)，是混合現(xiàn)實(shí)技術(shù)（Mix Reality-MR）的一種應(yīng)用，而MR是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，該技術(shù)通過在虛擬環(huán)境中引入現(xiàn)實(shí)場景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。目前虛擬世界的展現(xiàn)，因?yàn)榧夹g(shù)及方法的關(guān)系，一般是按錄制傳統(tǒng)視頻的方式展示，觀眾并不能實(shí)時(shí)了解虛擬世界中的真實(shí)情景。

因此，提出一種現(xiàn)實(shí)與虛擬場景混合展現(xiàn)的方法及系統(tǒng)，能夠讓玩家更加真實(shí)的體驗(yàn)虛擬世界，并在顯示設(shè)備上，實(shí)時(shí)的呈現(xiàn)玩家和虛擬世界的實(shí)時(shí)互動圖像，成為亟待解決的問題。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種現(xiàn)實(shí)與虛擬場景混合展現(xiàn)的方法及系統(tǒng)，能夠讓玩家更加真實(shí)的體驗(yàn)虛擬世界，并在顯示設(shè)備上，實(shí)時(shí)的呈現(xiàn)玩家和虛擬世界的實(shí)時(shí)互動圖像。

為實(shí)現(xiàn)上述目的，本發(fā)明提供的現(xiàn)實(shí)與虛擬場景混合展現(xiàn)的方法，包括以下步驟：

（1）將虛擬玩家與真實(shí)玩家的位置進(jìn)行實(shí)時(shí)同步；（2）將真實(shí)攝像機(jī)的運(yùn)動信息作為虛擬攝像機(jī)的運(yùn)動信息；（3）虛擬背景主機(jī)實(shí)時(shí)接收真實(shí)攝像機(jī)的運(yùn)動信息，驅(qū)動虛擬攝像機(jī)拍攝虛擬玩家在虛擬世界中的場景畫面；（4）實(shí)時(shí)采集合成主機(jī)同時(shí)采集真實(shí)攝像機(jī)拍攝的真實(shí)玩家畫面和虛擬攝像機(jī)拍攝的虛擬場景畫面，合成現(xiàn)實(shí)與虛擬場景混合的實(shí)時(shí)畫面。

所述步驟（1）進(jìn)一步包括以下步驟：真實(shí)玩家通過VR設(shè)備與虛擬背景主機(jī)建立連接；將與真實(shí)玩家相對應(yīng)的虛擬玩家在虛擬世界中的坐標(biāo)信息實(shí)時(shí)上傳給虛擬背景主機(jī)；將虛擬玩家與真實(shí)玩家的位置進(jìn)行實(shí)時(shí)同步。

進(jìn)一步地，步驟（2）所述將真實(shí)攝像機(jī)的運(yùn)動信息作為虛擬攝像機(jī)的運(yùn)動信息，是真實(shí)攝像機(jī)拍攝真實(shí)玩家的位移畫面，同時(shí)通過定位裝置定位真實(shí)攝像機(jī)的運(yùn)動信息，用以作為虛擬攝像機(jī)的運(yùn)動信息。

所述步驟（3）進(jìn)一步包括步驟：運(yùn)動捕捉設(shè)備實(shí)時(shí)收集虛擬攝像機(jī)的運(yùn)動信息，并通過動捕數(shù)據(jù)中轉(zhuǎn)設(shè)備發(fā)送給虛擬背景主機(jī)。

所述步驟（4）進(jìn)一步包括步驟：實(shí)時(shí)采集合成主機(jī)在剔除真實(shí)玩家畫面中的真實(shí)背景后，將真實(shí)玩家畫面疊加到虛擬場景畫面中，得到現(xiàn)實(shí)與虛擬場景混合的實(shí)時(shí)畫面。

所述步驟（4）進(jìn)一步還包括步驟：合成的現(xiàn)實(shí)與虛擬場景混合的實(shí)時(shí)畫面做三屏同步，分別傳送給畫面合成監(jiān)視器、攝影師監(jiān)視器和電視機(jī)。

為實(shí)現(xiàn)上述目的，本發(fā)明提供的現(xiàn)實(shí)與虛擬場景混合展現(xiàn)的系統(tǒng)，包括：真實(shí)攝像機(jī)（201）、定位裝置（202）、虛擬背景主機(jī)（205）、VR設(shè)備（206）、虛擬攝像機(jī)（207）及實(shí)時(shí)采集合成主機(jī)（208），其中，

所述VR設(shè)備（206），用于將與真實(shí)玩家相對應(yīng)的虛擬玩家在虛擬世界中的坐標(biāo)信息實(shí)時(shí)上傳給所述虛擬背景主機(jī)（205）；所述真實(shí)攝像機(jī)（201），用于拍攝真實(shí)玩家的位移畫面；所述定位裝置（202），用于定位所述真實(shí)攝像機(jī)（201）的運(yùn)動信息；所述虛擬背景主機(jī)（205），用于實(shí)時(shí)接收所述真實(shí)攝像機(jī)（201）的運(yùn)動信息，并采用所述運(yùn)動信息驅(qū)動所述虛擬攝像機(jī)（207）拍攝虛擬玩家在虛擬世界中的場景畫面；所述實(shí)時(shí)采集合成主機(jī)（208），用于同時(shí)采集所述真實(shí)攝像機(jī)（201）拍攝的真實(shí)玩家畫面和所述虛擬攝像機(jī)（207）拍攝的虛擬場景畫面，合成現(xiàn)實(shí)與虛擬場景混合的實(shí)時(shí)畫面。

進(jìn)一步地，還包括：運(yùn)動捕捉設(shè)備（203）及動捕數(shù)據(jù)中轉(zhuǎn)設(shè)備（204），所述運(yùn)動捕捉設(shè)備（203），用于實(shí)時(shí)收集虛擬攝像機(jī)的運(yùn)動信息，并通過所述動捕數(shù)據(jù)中轉(zhuǎn)設(shè)備（204）發(fā)送給所述虛擬背景主機(jī)（205）。

進(jìn)一步地，還包括：畫面合成監(jiān)視器（209），所述畫面合成監(jiān)視器（209）用于通過合成的混合實(shí)時(shí)畫面，監(jiān)控實(shí)時(shí)采集合成主機(jī)合成現(xiàn)實(shí)與虛擬場景混合的實(shí)時(shí)畫面。

進(jìn)一步地，還包括：攝影師監(jiān)視器（210），所述攝影師監(jiān)視器（210）用于通過合成的混合實(shí)時(shí)畫面，監(jiān)控真實(shí)攝像機(jī)拍攝真實(shí)玩家的位移畫面。

本發(fā)明的現(xiàn)實(shí)與虛擬場景混合展現(xiàn)的方法及系統(tǒng)，采用虛擬攝像機(jī)拍攝虛擬場景，真實(shí)攝像機(jī)拍攝綠幕環(huán)境中的真實(shí)玩家，兩種實(shí)時(shí)視頻信息通過實(shí)時(shí)采集摳像合成，然后回發(fā)給顯示設(shè)備，在顯示設(shè)備上呈現(xiàn)真實(shí)玩家和虛擬世界的實(shí)時(shí)互動圖像。